【實例】數據科學家所需的技能和素質

對數據科學家的關注，源于大家逐步認識到，Google、Amazon、Facebook等公司成功的背后，存在著這樣的一批專業人才。這些互聯網公司對于大量數據不是僅進行存儲而已，而是將其變為有價值的金礦——例如，搜索結果、定向廣告、準確的商品推薦、可能認識的好友列表等。

數據科學（datascience）是一個很久之前就存在的詞匯，但數據科學家（datascientist）卻是幾年前突然出現的一個新詞。關于這個詞的起源說法不一，其中在《數據之美》（BeautifulData，TobySegaran、JeffHammerbacher編著，O’Reilly出版1）一書中，對于Facebook的數據科學家，有如下敘述：在Facebook，我們發現傳統的頭銜如商業分析師、統計學家、工程師和研究科學家都不能確切地定義我們團隊的角色。該角色的工作是變化多樣的：在任意給定的一天，團隊的一個成員可以用Python實現一個多階段的處理管道流、設計假設檢驗、用工具R在數據樣本上執行回歸測試、在Hadoop上為數據密集型產品或服務設計和實現算法，或者把我們分析的結果以清晰簡潔的方式展示給企業的其他成員。為了掌握完成這多方面任務需要的技術，我們創造了‘數據科學家’這種角色?！?/span>

僅僅在幾年前，數據科學家還不是一個正式確定的職業，然而一眨眼的工夫，這個職業就已經被譽為“今后10年IT行業最重要的人才”了。

Google首席經濟學家、加州大學伯克利分校教授哈爾·范里安（HalVarian，1947—）先生，在2008年10月與麥肯錫總監JamesManyika先生的對話中，曾經講過下面一段話：“我總是說，在未來10年里，最有意思的工作將是統計學家。人們都認為我在開玩笑。但是，過去誰能想到電腦工程師會成為20世紀90年代最有趣的工作？在未來10年里，獲取數據——以便能理解它、處理它、從中提取價值、使其形象化、傳送它——的能力將成為一種極其重要的技能，不僅在專業層面上是這樣，而且在教育層面（包括對中小學生、高中生和大學生的教育）也是如此。由于如今我們已真正擁有實質上免費的和無所不在的數據，因此，與此互補的稀缺要素是理解這些數據并從中提取價值的能力?！?/span>

范里安教授在當初的對話中使用的是statisticians（統計學家）一詞，雖然當時他沒有使用數據科學家這個詞，但這里所指的，正是現在我們所討論的數據科學家。

數據科學家所需的技能

數據科學家這一職業并沒有固定的定義，但大體上指的是這樣的人才：

“所謂數據科學家，是指運用統計分析、機器學習、分布式處理等技術，從大量數據中提取出對業務有意義的信息，以易懂的形式傳達給決策者，并創造出新的數據運用服務的人才?！?/span>

數據科學家所需的技能如下。

（1）計算機科學

一般來說，數據科學家大多要求具備編程、計算機科學相關的專業背景。簡單來說，就是對處理大數據所必需的Hadoop、Mahout等大規模并行處理技術與機器學習相關的技能。

（2）數學、統計、數據挖掘等

除了數學、統計方面的素養之外，還需要具備使用SPSS、SAS等主流統計分析軟件的技能。其中，面向統計分析的開源編程語言及其運行環境R最近備受矚目。R的強項不僅在于其包含了豐富的統計分析庫，而且具備將結果進行可視化的高品質圖表生成功能，并可以通過簡單的命令來運行。此外，它還具備稱為CRAN（TheComprehensiveRArchiveNetwork）的包擴展機制，通過導入擴展包就可以使用標準狀態下所不支持的函數和數據集。

（3）數據可視化（Visualization）

信息的質量很大程度上依賴于其表達方式。對數字羅列所組成的數據中所包含的意義進行分析，開發Web原型，使用外部API將圖表、地圖、Dashboard等其他服務統一起來，從而使分析結果可視化，這是對于數據科學家來說十分重要的技能之一。

將數據與設計相結合，讓晦澀難懂的信息以易懂的形式進行圖形化展現的信息圖（Infographics）最近正受到越來越多的關注，這也是數據可視化的手法之一。

作為參考，下面節選了Facebook和Twitter的數據科學家招聘啟事。對于現實中的企業需要怎樣的技能，這則啟事應該可以為大家提供一些更實際的體會。

Facebook招聘數據科學家

Facebook計劃為數據科學團隊招聘數據科學家。應聘該崗位的人，將擔任軟件工程師、量化研究員的工作。理想的候選人應對在線社交網絡的研究有濃厚興趣，能夠找出創造最佳產品過程中所遇到的課題，并對解決這些課題擁有熱情。

職務內容

確定重要的產品課題，并與產品工程團隊密切合作尋求解決方案

通過對數據運用合適的統計技術來解決課題

將結論傳達給產品經理和工程師

推進新數據的收集以及對現有數據源的改良

對產品的實驗結果進行分析和解讀

找到測量、實驗的最佳實踐方法，傳達給產品工程團隊

必要條件

相關技術領域的碩士或博士學位，或者具備4年以上相關工作經驗

對使用定量手段解決分析性課題擁有豐富的經驗

能夠輕松操作和分析來自各方的、復雜且大量的多維數據

對實證性研究以及解決數據相關的難題擁有極大的熱情

能對各種精度級別的結果采用靈活的分析手段

具備以實際、準確且可行的方法傳達復雜定量分析的能力

至少熟練掌握一種腳本語言，如Python、PHP等精通關系型數據庫和SQL

對R、MATLAB、SAS等分析工具具備專業知識

具備處理大量數據集的經驗，以及使用MapReduce、Hadoop、Hive等分布式計算工具的經驗

Twitter招聘數據科學家（負責增加用戶數量）

關于業務內容

Twitter計劃招聘能夠為增加Twitter用戶數提供信息和方向、具備行動力和高超技能的人才。應聘者需要具備統計和建模方面的專業背景，以及大規模數據集處理方面的豐富經驗。

我們期待應聘者所具有的判斷力能夠在多個層面上決定Twitter產品群的方向。

職責

使用Hadoop、Pig編寫MapReduce格式的數據分析

能夠針對臨時數據挖掘流程和標準數據挖掘流程編寫復雜的SQL查詢

能夠使用SQL、Pig、腳本語言、統計軟件包編寫代碼

以口頭及書面形式對分析結果進行總結并做出報告

每天對數TB規模、10億條以上事務級別的大規模結構化及非結構化數據進行處理

必要條件

計算機科學、數學、統計學的碩士學位或者同等的經驗

2年以上數據分析經驗

大規模數據集及Hadoop等MapReduce架構方面的經驗

腳本語言及正則表達式等方面的經驗

對離散數學、統計、概率方面感興趣

將業務需求映射到工程系統方面的經驗

數據科學家所需的素質

（1）溝通能力

即便從大數據中得到了有用的信息，但如果無法將其在業務上實現的話，其價值就會大打折扣。為此，面對缺乏數據分析知識的業務部門員工以及經營管理層，將數據分析的結果有效傳達給他們的能力是非常重要的。

（2）創業精神（entrepreneuership）

以世界上尚不存在的數據為中心創造新型服務的創業精神，也是數據科學家所必需的一個重要素質。Google、Amazon、Facebook等通過數據催生出新型服務的企業，都是通過對龐大的數據到底能創造出怎樣的服務進行艱苦的探索才獲得成功的。

（3）好奇心

龐大的數據背后到底隱藏著什么，要找出答案需要很強的好奇心。除此之外，成功的數據科學家都有一個共同點，即并非局限于藝術、技術、醫療、自然科學等特定領域，而是對各個領域都擁有旺盛的好奇心。通過對不同領域數據的整合和分析，就有可能發現以前從未發現過的有價值的觀點。

美國的數據科學家大多擁有豐富的從業經歷，如實驗物理學家、計算機化學家、海洋學家，甚至是神經外科醫生等。也許有人認為這是人才流動性高的美國所特有的現象，但其實正如我們在第4章中所介紹的GREE一樣，在日本也出現了一些積極招募不同職業背景人才的企業，這樣的局面距離我們已經不再遙遠。