數據挖掘工作總結（職業篇）

很多人不明白學習數據挖掘以后干什么，這個問題也經常被問到。記得剛學數據挖掘的時候，有一個老師說學數據挖掘有什么用，你以后咋找工作。當時聽了，覺得很詫異，不知道他為何有此一問。數據挖掘在國外是一份很不錯的工作。我喜歡數據挖掘，因為它很有趣。很高興以后就從事這方面的工作啦。寫論文之余，也考慮一下數據挖掘工程師的職業規劃。

以下是從網上找的一些相關資料介紹，和即將走上數據挖掘崗位或是想往這方面發展的朋友共享：

數據挖掘從業人員工作分析

1.數據挖掘從業人員的愿景：

數據挖掘就業的途徑從我看來有以下幾種，(注意：本文所說的數據挖掘不包括數據倉庫或數據庫管理員的角色)。

A：做科研(在高校、科研單位以及大型企業，主要研究算法、應用等)

B：算法工程師(在企業做數據挖掘及其相關程序算法的實現等)

C：數據分析師(在存在海量數據的企事業單位做咨詢、分析等)

2.數據挖掘從業人員切入點：

根據上面的從業方向來說說需要掌握的技能。

A：做科研：這里的科研相對來說比較概括，屬于技術型的相對高級級別，需要對開發、數據分析的必備基礎知識。

B：算法工程師：主要是實現數據挖掘現有的算法和研發新的算法以及根據實際需要結合核心算法做一些程序開發實現工作。要想扮演好這個角色，你不但需要熟悉至少一門編程語言如(C,C++,Java,Delphi等)和數據庫原理和操作，對數據挖掘基礎課程有所了解，讀過《數據挖掘概念與技術》(韓家煒著)、《人工智能及其應用》。有一點了解以后，如果對程序比較熟悉的話并且時間允許，可以尋找一些開源的數據挖掘軟件研究分析，也可以參考如《數據挖掘：實用機器學習技術及Java實現》等一些教程。

C：數據分析師：需要有深厚的數理統計基礎，可以不知道人工智能和計算機編程等相關技術，但是需要熟練使用主流的數據挖掘(或統計分析)工具。從這個方面切入數據挖掘領域的話你需要學習《數理統計》、《概率論》、《統計學習基礎：數據挖掘、推理與預測》、《金融數據挖掘》,《業務建模與數據挖掘》、《數據挖掘實踐 》等，當然也少不了你使用的工具的對應說明書了，如SPSS、SAS等廠商的《SAS數據挖掘與分析》、《數據挖掘Clementine應用實務》、《EXCEL 2007數據挖掘完全手冊》等，如果多看一些如《數據挖掘原理》 等書籍那就更好了。

數據挖掘人員需具備以下基本條件，才可以完成數據挖掘項目中的相關任務。

一、專業技能

本科或碩士以上學歷，數據挖掘、統計學、數據庫相關專業，熟練掌握關系數據庫技術，具有數據庫系統開發經驗；

熟練掌握常用的數據挖掘算法;

具備數理統計理論基礎，并熟悉常用的統計工具軟件。

二、行業知識

具有相關的行業知識，或者能夠很快熟悉相關的行業知識

三、合作精神

具有良好的團隊合作精神，能夠主動和項目中其他成員緊密合作

四、客戶關系能力

具有良好的客戶溝通能力，能夠明確闡述數據挖掘項目的重點和難點，善于調整客戶對數據挖掘的誤解和過高期望;

具有良好的知識轉移能力，能夠盡快地讓模型維護人員了解并掌握數據挖掘方法論及建模實施能力。

進階能力要求

數據挖掘人員具備如下條件，可以提高數據挖掘項目的實施效率，縮短項目周期。

具有數據倉庫項目實施經驗，熟悉數據倉庫技術及方法論

熟練掌握SQL語言，包括復雜查詢、性能調優

熟練掌握ETL開發工具和技術

熟練掌握Microsoft Office軟件，包括Excel和PowerPoint中的各種統計圖形技術

善于將挖掘結果和客戶的業務管理相結合，根據數據挖掘的成果向客戶提供有價值的可行性操作方案

五、應用及就業領域

當前數據挖掘應用主要集中在電信(客戶分析)，零售(銷售預測)，農業(行業數據預測)，網絡日志(網頁定制)，銀行(客戶欺詐),電力(客戶呼叫)，生物(基因)，天體(星體分類)，化工，醫藥等方面。

當前它能解決的問題典型在于：數據庫營銷(Database Marketing)、客戶群體劃分(Customer Segmentation &Classification;)、背景分析(Profile Analysis)、交叉銷售(Cross-selling)等市場分析行為，以及客戶流失性分析(Churn Analysis)、客戶信用記分(Credit Scoring)、欺詐發現(Fraud Detection)等等，在許多領域得到了成功的應用。如果你訪問著名的亞馬遜網上書店會發現當你選中一本書后，會出現相關的推薦數目“Customers who bought this book alsobought”，這背后就是數據挖掘技術在發揮作用。

數據挖掘的對象是某一專業領域中積累的數據;挖掘過程是一個人機交互、多次反復的過程;挖掘的結果要應用于該專業。因此數據挖掘的整個過程都離不開應用領域的專業知識?！癇usiness First, techniquesecond”是數據挖掘的特點。因此學習數據挖掘不意味著丟棄原有專業知識和經驗。相反，有其它行業背景是從事數據挖掘的一大優勢。如有銷售，財務，機械，制造，call center等工作經驗的,通過學習數據挖掘，可以提升個人職業層次，在不改變原專業的情況下，從原來的事務型角色向分析型角色轉變。從80年代末的初露頭角到90年代末的廣泛應用，以數據挖掘為核心的商業智能(BI)已經成為IT及其它行業中的一個新寵。

重點介紹下對數據挖掘的幾個崗位

數據采集分析專員

職位介紹：數據采集分析專員的主要職責是把公司運營的數據收集起來，再從中挖掘出規律性的信息來指導公司的戰略方向。這個職位常被忽略，但相當重要。由于數據庫技術最先出現于計算機領域，同時計算機數據庫具有海量存儲、查找迅速、分析半自動化等特點，數據采集分析專員最先出現于計算機行業，后來隨著計算機應用的普及擴展到了各個行業。該職位一般提供給懂數據庫應用和具有一定統計分析能力的人。有計算機特長的統計專業人員，或學過數據挖掘的計算機專業人員都可以勝任此工作，不過最好能夠對所在行業的市場情況具有一定的了解。

求職建議：由于很多公司追求短期利益而不注重長期戰略的現狀，目前國內很多企業對此職位的重視程度不夠。但大型公司、外企對此職位的重視程度較高，隨著時間的推移該職位會有升溫的趨勢。另外，數據采集分析專員很容易獲得行業經驗，他們在分析過程中能夠很輕易地把握該行業的市場情況、客戶習慣、渠道分布等關鍵情況，因此如果想在某行創業，從數據采集分析專員干起是一個不錯的選擇。

市場/數據分析師

1、市場數據分析是現代市場營銷科學必不可少的關鍵環節: Marketing/Data Analyst從業最多的行業: Direct Marketing (直接面向客戶的市場營銷) 吧，自90年代以來,Direct Marketing越來越成為公司推銷其產品的主要手段。

根據加拿大市場營銷組織(Canadian MarketingAssociation)的統計數據: 僅1999年一年 Direct Marketing就創造了470000 個工作機會。從1999至2000，工作職位又增加了30000個。為什么Direct Marketing需要這么多Analyst呢? 舉個例子, 隨著商業競爭日益加劇，公司希望能最大限度的從廣告中得到銷售回報, 他們希望能有更多的用戶來響應他們的廣告。所以他們就必需要在投放廣告之前做大量的市場分析工作。

例如，根據自己的產品結合目標市場顧客的家庭收入，教育背景和消費趨向分析出哪些地區的住戶或居民最有可能響應公司的銷售廣告，購買自己的產品或成為客戶，從而廣告只針對這些特定的客戶群。這樣有的放矢的篩選廣告的投放市場既節省開銷又提高了銷售回報率。但是所有的這些分析都是基于數據庫，通過數據處理，挖掘，建模得出的，其間，市場分析師的工作是必不可少的。

2、行業適應性強: 幾乎所有的行業都會應用到數據, 所以作為一名數據/市場分析師不僅僅可以在華人傳統的IT行業就業，也可以在政府，銀行，零售，醫藥業，制造業和交通傳輸等領域服務。

算法工程師

應該來說目前算法工程師基本上都集中在中大型企業中，因為一般小公司很少用到算法來解決問題，如果這公司就是做數據相關產業的。而算法一般的應用場景有推薦、廣告、搜索等，所以大家常見的在廣告領域、個性化推薦方面是有不少的同仁。常見的要求是懂JAVA/PYTHON/R中其中一種，能夠知道常規的回歸、隨機森林、決策樹、GBDT等算法，能夠有行業背景最佳等。如果是deep learning方向可能對圖論、畫像識別等方面要求更高些。

求職建議：background稍微好一些，再把一些基本的算法都弄明白，能說清楚之間的區別和優缺點，包括常見的一些應用場景都有哪些。對于公司來說，特別是BAT這樣使用機器學習的公司，算法工程師是很重要的一塊資產。

現狀與前景

數據挖掘是適應信息社會從海量的數據庫中提取信息的需要而產生的新學科。它是統計學、機器學習、數據庫、模式識別、人工智能等學科的交叉。在中國各重點院校中都已經開了數據挖掘的課程或研究課題。比較著名的有中科院計算所、復旦大學、清華大學等。還有cda數據分析師協會等。另外，政府機構和大型企業也開始重視這個領域。

據IDC對歐洲和北美62家采用了商務智能技術的企業的調查分析發現，這些企業的3年平均投資回報率為401%，其中25%的企業的投資回報率超過600%。調查結果還顯示，一個企業要想在復雜的環境中獲得成功，高層管理者必須能夠控制極其復雜的商業結構，若沒有詳實的事實和數據支持，是很難辦到的。因此，隨著數據挖掘技術的不斷改進和日益成熟，它必將被更多的用戶采用，使更多的管理者得到更多的商務智能。

根據IDC(International DataCorporation)預測說2004年估計BI行業市場在140億美元?，F在，隨著我國加入WTO，我國在許多領域，如金融、保險等領域將逐步對外開放，這就意味著許多企業將面臨來自國際大型跨國公司的巨大競爭壓力。國外發達國家各種企業采用商務智能的水平已經遠遠超過了我國。美國Palo Alto 管理集團公司1999年對歐洲、北美和日本375家大中型企業的商務智能技術的采用情況進行了調查。結果顯示，在金融領域，商務智能技術的應用水平已經達到或接近70%，在營銷領域也達到50%，并且在未來的3年中，各個應用領域對該技術的采納水平都將提高約50%。

現在，許多企業都把數據看成寶貴的財富，紛紛利用商務智能發現其中隱藏的信息，借此獲得巨額的回報。國內暫時還沒有官方關于數據挖掘行業本身的市場統計分析報告，但是國內數據挖掘在各個行業都有一定的研究。據國外專家預測，在今后的5—10年內，隨著數據量的日益積累以及計算機的廣泛應用，數據挖掘將在中國形成一個產業。

眾所周知，IT就業市場競爭已經相當激烈，而數據處理的核心技術—數據挖掘更是得到了前所未有的重視。數據挖掘和商業智能技術位于整個企業IT-業務構架的金字塔塔尖，目前國內數據挖掘專業的人才培養體系尚不健全，人才市場上精通數據挖掘技術、商業智能的供應量極小，而另一方面企業、政府機構和和科研單位對此類人才的潛在需求量極大，供需缺口極大。如果能將數據挖掘技術與個人已有專業知識相結合，您必將開辟職業生涯的新天地!

職業薪酬

就目前來看，和大多IT業的職位一樣，數據挖掘方面的人才在國內的需求工作也是低端飽和，高端緊缺。從BAT的招聘情況來看，數據挖掘領域相對來說門檻還是比較高的，但是薪酬福利也相對來說比較好，常見的比如騰訊、阿里都會給到年薪20W+。而厲害的資深算法專家年薪百萬也是常有的事情，所以大家在算法方面還是大有可能。另外隨著金融越來越互聯網化，大量的算法工程師會成為以后互聯網金融公司緊缺的人才。