大數據技能知多少

說起“大數據”一詞，也是真正被吵夠了。做個簡單的統計也叫大數據，做個表格、畫個圖形出來，就叫大數據了。言談間凡是不和“大數據”沾邊，就感覺已經落伍了。其實，很多人除了知道簡單的統計外，根本不了解大數據是什么。甚至連Hadoop與Spark都不曾聽過，更別談機器學習與深度學習了。

大數據是一個概念也是一門技術，是在以Hadoop為代表的大數據平臺框架上進行的各種數據分析的技術。包括了基礎的大數據框架，以Hadoop和Spark為代表；還包括了實時數據處理、離線數據處理；還包括了數據分析，數據挖掘，和用機器學習算法進行預測分析。

概念吵著吵著就變味了，用“大數據”來代表很多數據處理領域的技術，已經不太合理了。目前比較合適的一個詞是數據科學（Data Science），做數據科學的叫數據科學家。當然真正到科學家這個級別，要求是非常高的，數據科學家是具有數據相關的完整理論和知識的人，自然境界很高。

數據是金礦，數據科學自然是目前的金礦行業，做數據的人就算礦工。一個普通的數據礦工，成為數據科學家需要漫長的過程。那這個……，做不到數據科學家，我們還可以做個數據極客（Data Geek）嘛，挑戰數據極限，也是挑戰自己的極限。

也許小時候的夢想就是當科學家，現在終于不用上博士就可以實現了。雖然很多都只是自己團隊或者公司封的職位。接下來，可以看看，在數據領域，大概都有哪些職位，以及都需要什么樣的技能。

2數據職位

目前，已經有很多的公司依賴于數據，以數據作為核心的業務驅動?？梢哉f，沒有數據及數據挖掘能力，這些公司將無法運轉。

以八卦中的坤卦來代表數據處理整個流程，可以歸納為數據六爻：獲取，處理，存儲，分析，表現，應用?；旧现髁饕詳祿寗拥墓径际窃谶\用這六爻中的一種或者多種技術。

通過各種途徑獲取數據，將數據進行清洗或者結構化處理，存儲入數據庫或者大數據集群，進而運用多維分析甚至機器學習，最后將結果展現給大眾，或者直接應用于產品服務于大眾。

大致理解了上面這六爻的數據流程，對于各種數據的職位也差不多有一定的理解了。有興趣的可以慢慢去拉勾網搜索一下“數據”這個詞，基本上和數據相關的職位可以分以下幾類：

平臺開發：與數據相關的開發，數據工程師，Hadoop平臺二次開發，爬蟲開發

業務挖掘：算法挖掘，機器學習與深度學習，圖片識別、視頻處理

數據處理：ETL開發，數據清洗

商業智能(BI)：商業決策，數據分析，數據分析（基礎統計），運營數據分析（運營經理），產品數據分析（產品經理）

數據展現：運營報表，趨勢圖譜，WEB展現

個性推薦：用戶畫像，關聯挖掘

自然語言處理(NLP)：文本分析，主題模型

2.1 開發相關
主要有數據抓取，也即通常說的網絡爬蟲。需要考慮數據抓取的實時性與完整性，還有數據及時更新，數據去重等等。嚴格來說，和通常意義上的大數據相關性不大，主要是后端開發的一系列技術，其中也會涉及分布式的一些技術。

ETL開發，ETL為Extract、Transform和Load的縮寫，即數據抽取，轉換與裝載。將各種來源的數據進行收集、規范和存儲起來?？梢允请x線的方式，存儲在以Hadoop為代表的大數據集群中。也可以是實時的展現在報表系統中。如果是實時的，也叫實時數據流開發，通常和Storm框架或者Spark Streaming技術相關。

（本篇題目為：《大數據職位，數據場技能》，如果剛看到這條消息，說明你很幸運，這是小可正在寫的書《全棧數據場》中的一篇文章。）

Hadoop平臺開發，專指以大數據框架為基礎，并在此基礎上進行二次開發或者數據流開發。對數據平臺做開發與改進，只能是程序員的工作了，根據業務需求，對現有的平臺進行改進與優化。因為是平臺相關的，通常需要Java與Scala的專業程序員，這塊和數據分析基本沒有太大關系。
另外還有純前端的數據可視化技術開發，或者純運維的大數據集群管理等等。

本人正在寫一本書《全棧數據場》，內容跟今天分享的主題有關：

2.2 業務分析

商業智能分析，包括報表分析，運營或者銷售分析，這一塊以Excell、SPSS和R為代表。主要是指對針對具體業務，對現有的數據進行統計分析，期待從中發現一些規律與趨勢。

數據分析報表，也是最常用的數據分析師職位的一些工作，通常產出以報表為主。這塊很多時候會與運營部門的需求相關，技術上主要以成熟的工具為主。
當數據量一大，就會涉及在集群環境下的分析，分析師通常很熟悉SQL，這也是構建于Hadoop之上的Hive能被大眾熟悉的原因。

除了報表統計外，還需要對數據的有很強的解讀能力，能分析和解讀出一些現象產生的原因，同時需要針對這些問題，提出一些可能的應對方案，以便對業務策略或者商業方向上有更多的指導。

一些專業領域分析，如網絡安全分析，金融領域分析。這些領域的分析，通常需要用領域知識，深入現象背后去挖掘出產生的原因，不僅要具有很強的分析能力，也需要很強的領域知識。

題外話

太極，其大無外，其小無內。簡單說就是：大到沒有外部，小到沒有內部。
從桌面電腦時代，向大處走，便是向云中走，走出了大數據；向小處走，便是向終端走，走出了移動互聯網。
一陰一陽之謂道，陰陽合而萬物生，大數據與移動端相聯，并是萬物互聯（Internet of Everything)，也即物聯網。

大到沒有邊界，才是大數據。

2.3 算法挖掘

做為數據科學中的重頭戲，便是數據挖掘和機器學習了。在線電商中的個性推薦技術，商業與銀行中的欺騙檢測，智能手機中語音識別（Siri），機器翻譯，圖像識別等等。

涉及大量機器學習算法，包括分類、聚類和個性推薦等常用數據挖掘技術。也包括數據分析的很多基礎，和數據分析偏重的報表產出并不同，并不強調產出大量的報表，通常是在現有數據基礎上的產出新數據，用于服務業務系統。
還可以推廣到人工智能，其中涉及大量的數據處理與挖掘技術。比如機器人，無人駕駛，總之是盡量的在某些領域達到或者超過人類。

人類能處理如下內容：

Number: 數據（數）

NLP: 自然語言處理（文字）

Pic： 圖像處理（圖片）

Voice: 語音識別（語音）

Video: 視頻處理（視頻）

個性推薦: （集體智慧與社交化）

其中會用到大量的機器學習算法，包括深度學習，從而達到服務人類的目的。

3七大技能

那么，成為數據極客，建立自己的數據場需要哪些技能呢？且不說那高深復雜的理論，僅從實用的角度來分析一下，建立數據場的七個方面。

關于數據的統計、分析與挖掘，這些概念的側重點不一樣。數據統計，利用統計學的知識，產出數據和報表；數據分析，除了產出數據和報表外，還需要分析其中原因，最好能找出對應的策略；數據挖掘，需要在數據分析的基礎上，發現新的，有價值的知識及潛在的規律。如果只是對原有的數據進行統計分析，而沒有對未知的事物進行預測，是不算數據挖掘。

（理解一個算法或者一種應用是怎么做的，只是一種具體的法，今天更多的是講道）

數據相關的職位各種各樣，我們要構建數據場時，抽取其中的各種技能出來，組成自己的技能表。最近讀到一篇文章：《機器學習職位需要的七個關鍵技能》
英文原文地址：http://bigdata-madesimple.com/7-key-skills-required-for-machine-learning-jobs/
中文翻譯地址：http://www.36dsj.com/archives/29515?utm_source=tuicool&utm_medium=referral

文章描述了機器學習需要的七個技能，以及需要這些技能的原因，主要技能如下：
1. 編程語言(Python/C /R/Java)；
2. 概率與統計；
3. 應用數學與算法；
4. 分布式計算；
5. Unix/Linux工具集；
6. 高級信號處理技術(特征提取)；
7. 大量閱讀，適應快速變化，更新自己。

在這篇文章的基礎上，我總結了以下七個方面，用于構建我們自己的數據場技能：

SQL與NoSQL技能

Linux工具集

Python或者R語言生態

Hadoop與Spark生態

概率、統計與線性代數

機器學習與深度學習

業務及雜項

3.1 SQL與NoSQL技能

傳統的SQL工具與大數據環境下的NoSQL工具中，以關系型的MySQL為代表，以文檔型的MongoDB為代表，以大數據環境下的Hive代表。這都是數據分析的基礎而強大利器，在很多場合下都能快速的解決問題。

擴展的，還會有內存型數據庫Redis，圖數據庫Neo4j，還有全文索引的ElasticSearch和Solr，還有Hbase和Cassandra，這些根據具體的業務，選擇性的掌握其中一部分。

學到什么程度并無定論，重點在具體的數據環境下，不至于永遠只知道MySQL這一個工具，在不同的場景，其它的數據庫能發揮出強大的優勢。

總結起來說，重點不是工具，而是數據。不僅要能處理結構化數據，還要處理半結構化數據，不僅能單機處理，還要在集群環境下處理。

3.2 Linux工具集
Shell, AWK, sed, grep等基本工具集，這是很多數據簡單處理的得力助手，包含數據文件編碼，數據合并，數據拆分，數據規范，格式驗證等等。
Linux腳本能力，簡單服務配置能力，正則表達式能力，Vim或者Emacs編輯能力，文件系統常用操作命令，遠程登錄ssh等等，這些都能快速的處理很多問題。任何的分析或挖掘都會依托與一個系統，而Linux是其中最常用的，尤其是在服務器環境。熟悉一個系統，能讓自己的數據科學工作事半功倍。

簡單的數據收集與處理，很多時候也會依賴于Linux系統或者基于其上的一系列工具，比如常用的Web服務器引擎Nginx及其產生的日志，常用的文件傳輸scp或者rsync，常用的定時任務crontab等等這些工具，穩定又實用。

3.3 Python或者R語言生態
掌握一門分析專用語言，很有必要。其中以R語言和Python語言為代表。R起源于統計學，如今在數據科學領域也占有強大的陣地。Python更是一門完整的編程語言，不論是Web開發、自動化運維、云計算，還是數據科學領域，都有眾多的用戶。兩者在數據分析中都有完整的生態圈，而且其它環境對這兩者的支持也是非常好的。

無意于爭端，全看個人喜好。本人只熟悉Python這塊生態，因此只討論這一塊相關的。最為大眾熟悉的一些包為：Numpy，Scipy, Pandas和Scikit-learn，Keras，解決了從數據分析到機器學習和深度學習的幾乎所有任務。

3.4 Hadoop與Spark生態
大數據平臺，無疑是以Hadoop和Spark為代表，無論在線處理還是離線分析。Hadoop比較適合離線處理。而在線處理中，Storm就是比較有名的。如果需要自己實現Map-Reduce或者對接數據之類的開發，編程語言中以Java和Scala為代表。

在線搜索相，估計會用前面說過的ElasticSearch或者Solr。當然，區別于hadoop的Map-Reduce流程，Spark提供的彈性數據集RDD，能作用于RDD上的算子非常多，使得數據處理與分析更加方便。除此之外，Spark還提供了實時任務的Streaming，能實時的對數據進行處理與獲取結果。還有Spark SQL功能，尤其以其中的DataFrame重為重要。另外，ML與MLlib也是分布式機器學習的重要部分。
Spark是Hadoop生態圈中的有力補充，并非替代品，如果要說替代，那也只是替代了MapReduce分布式計算框架而已，分布式調試與管理依然用Yarn，文件系統依然會使用HDFS。

3.5 概率、統計與線性代數
對數據進行統計與分析，是需要統計學的基礎知識。另外，很多問題都可以轉化為一個概率問題，并不是要完全確定的結果，只要概率達滿足即可。概率論方面的主要是貝葉斯統計，隱馬爾可夫模型等之類的。這些都是深入理解算法的基礎。
對數據的運算，很多時候就是直接矩陣運算，而涉及矩陣的各種運算也正是線性代數相關相關的問題。

機器學習之所以有效，是因為模型對數據的處理，最后都會變成一系列的數學優化問題，而且主要和凸優化知識相關。機器學習的各種計算，都是和數學密切相關。除了上面的概率、統計與線性代數，還會和微積分有一定的關系。
當然，但除非你深入研究算法的核心原理或者寫學術論文需要，也不要被數學嚇到了。在機器學習應用過程中，并不會用到太多的數學知識。而且，也并不需要完全把上面這些課程學好了再來進行機器學習。計算機基于數學，但應用型的算法，并不需要特別深厚的數學功底。如果以前課程學得不好也沒有太大的關系，很多知識到了關鍵時刻再補一下也不遲。

3.6 機器學習與深度學習
數據挖掘與人工智能中和算法相關的部分，常用的分類算法，聚類算法是基礎。推廣開來，就是監督算法與非監督算法，監督算法中，除了分類，還有回歸。非監督算法中，除了聚類，還有數據降維，還有用于個性推薦的關聯規則。另外，專門處理自然語言的機器學習也即NLP，或者文本數據挖掘，是另外一個側重方向。

對算法的理解，需要前面的統計與概率等等數學知識，還需要結合編碼能力，最好能自己實現一些演示算法流程的Demo程序來輔助理解。實際應用中，最好以第三方庫為準，它們經過大量人員的測試，無論是性能還是算法完整性上都會更好，自己實現的程序僅僅用于理解算法流程即可。除非你對算法理解很徹底，并且編碼能力也非常強，而且覺得現有的框架不能滿足你的使用。
除了算法及其參數調優外，還有另外兩個重要的內容，特征提取與模型評估。如何從原始數據中提取出用于算法的特征是很關鍵的。很多時候，不同算法在性能差異上并不明顯，但不同的特征提取方法，卻能產生比較大的差距。

在某種特征上應用特定的算法，還需要做的就是模型評估，如何評估一個模型是好還是壞，在一定程度上也體現了機器學習是否有效的依據。在特征提取上，一個比較火熱的領域自然是深度學習了。源于多層神經網絡，是一種非監督的特征提取方法，更好的用于圖片、語音與視覺處理。值得一提的是，深度學習在很多地方的性能已經超過傳統的機器學習算法。

3.7 業務及雜項

除上上面的純技術外，還有一些非技術上的技能。業務理解，商業洞察，溝通與交流能力，尤其以業務的理解能力為重要。數據是死的，無法更好的理解業務中的問題，也就無法更好的利用現有數據，甚至無法更好的解讀其中的結論。
理解業務通常需要一些專業的領域知識，比如做網絡安全的，需要安全的一些基礎知識；做電商的，需要理解其中各個指標對當前銷售的影響；做二手車估值的，需要對二手車殘值評估有一定的了解。

除了業務知識外，還需要一定的文檔與報表技能，比如Word、PPT與Markdown工具的使用，只有完整的文檔與良好的表達，才更好體現數據所展現出來的效果。

另外，英文能力與寫作也同樣重要，需要經常閱讀一些英文文章。閱讀的主要目的，就是隨時更新自己的技能，擴展知識面。而寫作，就是自己知識積累的一種方式，將紙上的東西，變成自己的技能。

4結語

對于高級信號處理，主要用于特征提取，個人感覺目前可以通過學習神經網絡與深度學習來解決，深度學習是專為解決特征提取的問題而來。

七大技能，總結起來，就是熟悉一門Linux系統及其上的常用工具，遇到普通的數據，可以通過SQL來做簡單分析或者聚合。如果數據量比較大，可以使用Hadoop等大數據框架處理。在深入挖掘上，可用Python或者R語言進行編程，應用以概率統計為支撐的機器學習算法。

要做好數據極客，只有在各種工具與技能基礎上，再加強自己的業務興趣點，配合個人的悟性而修行。果能如此，持之以恒，則天下定有你的天地。

（這天下是年輕人的，終究是搞數據的年輕人，未來屬于我們，致各位現在、未來的數據科學家）。