數據挖掘概述_數據分析師

      最近看了比較多的關于大數據處理方面的知識，但是例如Hadoop，Spark，Storm等平臺大都是對于數據的存儲和管理操作，并不是對于 數據進行分析和處理的。所以這里就衍生出了另外一種對于數據的處理，數據挖掘。學習數據挖掘也非常偶然，首先畢竟本人一直在做的是數據方面的工作，數據挖 掘相當于是對數據處理后的下一步操作，學習一下數據挖掘的基本知識，了解了解常用的一些數據挖掘算法，對我來說也是一件不錯的事。

      由于我目前的水準還只是入門水準，就簡單的聊聊數據挖掘的基本概念。數據挖掘，英文為:Data Miming,又叫KDD，知識的再次發現，數據挖掘，顧名思義，就是從數據中發掘出對于人們來說，有意義的東西。數據挖掘無處不在，最常見的就是在網上 購物的時候，人家會推薦一些可能讓你感興趣的商品。專業上講，這叫BI（商業智能）。還有很多例如銀行利用數據進行欺詐檢測。下面是數據挖掘的一般步驟:

1.數據清理（數據預處理）

2.數據集成 （數據預處理）

3.數據選擇 （數據預處理）

4.數據變換 （數據預處理）

5.數據挖掘

6.模式評估

7.知識表示

      前四步又是作為數據預處理的操作。數據預處理有很多作用，比如取出噪聲數據或者是離群點的處理，還有數據的規格化的操作。也許你會問，我們這么 龐大的數據存在于什么地方呢，像一般的系統，就是存在于關系數據庫中，但是這時候就有問題了，數據挖掘對于數據的需求量往往是非常大的，這就需要很多的數 據，所以我們通過一個叫數據倉庫的概念，把許多的數據庫組織起來，形成一個數據倉庫，然后我們對于數據倉庫進行OLAP聯系分析處理。而數據倉庫又是以數 據立方體的形式來表現數據的情況的。

挖掘 數據的 什么

      數據挖掘都挖出些什么東西呢，首先一個就是 頻繁模式 的挖掘，這個很好理解吧，這里涉及很多的頻繁項集的挖掘算法，比如Apriori算法，里面還有很多關聯和相關性的要素。還有一個挖掘中經常提到的東西叫 分類 ,分類算法在數據挖掘中也是非常重要的，比較常被人說起的就是貝葉斯分類算法，基于概率統計的算法，隨后在分類算法的基礎上又出現了聚類分析，就有了后面 的k-means算法，k-中心點算法。對于前面的2大模塊的挖掘體系，都有相對應的高級階段的挖掘分析。對于更加特殊的數據格式和更加復雜的環境又會有 不同的挖掘算法和方式的不同。

數據挖掘的展望

      未來一定會是一個數據大爆炸的時代，數據挖掘將會是一個非常熱門的領域，他是一個多學科交叉的領域，機器學習，神經網絡，統計學，對于各行各業都會起到非常重要的作用。