如何有效的成為一名數據科學家

人們總是問我如何有效的成為一名數據科學家。我的經歷是先成為一名軟件工程師，然后讀了數據科學相關的PhD (是在它變成熱點之前)。在這篇文章里，基于我在這個領域的經驗總結，給出了成為數據學家的首要步驟，目的是為了幫助那些想從純軟件工程領域轉行到數據科學。

當我們就讀PhD 課程的過程中，如果你已經明確要成為一名數據科學家，那么我并不建議使用傳統的學習方法。當我們自主學習時，我們可以從互聯網上找到大量可用的學習資料。事實上，我們可以比讀一個PhD進步的更快，因為PhD項目有很多循規蹈矩的事情花費我們大量的精力。

這篇文章由五個相關步驟構成。盡管我列出了順序，但是很多步驟可以同時進行。

第一步：從解決一個難題開始

盡管你對于數據科學領域的機器學習和數據方面一無所知，從解決一個難題開始非常重要。理想化的，你可以找一些自己感興趣的東西，因為這樣做起來會更有激情。

你可以用一些原有的難題，例如 Kaggle competition 或者 UCI datasets. 或者你也可以自己搜集數據分析，這樣會更具挑戰。

當時，我的興趣點是 natural language processing 和 user modeling. 我的導師被授予一批經費對調查問卷進行情感分析，那也成為了我研究的方向。這個課題很快被著眼于研究作者和他們表達情感的方式之間的關系上面，同時也被應用于提高情感分析算法的準確性上面。為了達到研究目的，我收集了大量IMDb用戶的文本數據。難點在于結合這些用戶自己的評論去推斷他們的等級，假設考慮作者的身份的方法比忽略其身份背景更有用。

第二步：跨越你知識的屏障

無論你選擇了什么問題，你都會面對跨領域知識的學習，像維基百科，教材和網上課程都會是類似機器學習和數據，最好的基礎教程。當你面對一個具體的難題時，閱讀專業論文將會有助于你更好地理解眼下這個難題。

讀PhD就是給了我寶貴的時間，例如用一個月時間去閱讀文獻。我閱讀地200多頁地論文中大部分都是有關情感分析的，那讓我對于這個領域地成就有了全面的了解。然而，最有效的方法時停止閱讀，開始動手解決問題。這也是我認為最好的建議：沒有比親自動手解決困難更有效的學習方法了。

第三步：弄“臟”你的手

當選好的課題和跨領域學習都已經基本完成，是時候做一個計劃并且努力實現它。由于我的背景是軟件工程師以及對于early collaborative filtering approaches to recommender systems的嘗試，我的計劃很大程度上就像 Leo Breiman 所說的算法模型文化。那就是：我將更多關注于開發處理搜集數據過程的建模算法。該方法更像是由直線思維的軟件工程師提出來的，而不像是數學家或者數據學家的方法。

這個計劃非常的簡單：

 復制結果，結果顯示rating inference 模型是由很多目標群體提供的文本測試過的（i.e.,寫了文本的作者的等級是我們用來預測的）；outperform 模型有更多多樣性的客戶提供的文本測試過的。

 用一種被聯合篩選的方法，以目標客戶提供的文本為基礎，把許多單一作者的模型和infer rating 的模型就目標群體的共同點進行對比。

多種相似的實驗方法基于訓練和目標客戶提供的大量文本中各種各樣的限制條件。

 重復這些方法直到結果出來。

這個計劃的原理是：因為不同的人表達情緒的方法不同，而相似的人表達情緒的方法相似（e.g.,不同文化背景下描述事物的方法不同）。最主要的推動因素是 Pang 和 Lee 的發現－在同一目標試驗足夠的文本量的模型是最好的。

我當時用來實現這項計劃的方式與今天我將怎么做截然不同。那是2009年，結合 Weka package 用Java 的主要模型看起來比我以前用的C/C++是顯著的提高。我很大程度上依賴于學校網絡去運行實驗和寫一大堆代碼去處理試驗邏輯，包括一些 Perl 腳本 for post-processing。 雖然結果很復雜，但是那樣確實很奏效并且我得到了可以用來發表文章的結果。如果我當時做像今天這樣的工作，我會把 Python用于所有的事情。 IPyhon Notebook 是跟蹤實驗過程很好的方法，以及Python packages 例如 pandas, scikit-learn, gensim, TextBlob, 等，都是對于數據科學入門簡單而成熟的方法。

第四步：發表你的結果

制定一個發表結果的期限的確很有壓力，但是它會有兩個積極的效應。第一，把你的實驗結果公布開來可以讓你得到有價值的反饋。第二，艱難的截止日期可以有助于你制定切實的目標。你可以一直保持收獲無數細小的進步，但是出版截止日期可以強制你停下來。

我的例子是，UMAP 2010 會議是我的截止日期，會議承諾的免費去夏威夷履行也稱為了一個很好的激勵因素。但是及時你沒有精力和時間去發表一篇專業論文，你也應該給自己制定一個發表一些東西在博客或者論壇的截止時間；也或者是一個導師可以關注到你工作的報告。得到持續不斷的反饋是進步的主要因素，所以應該盡早公布，經常公布。

第五步：完善你的結果并且繼續前進

恭喜你！你已經把你的努力公之于眾了。接下來應該干什么？你可以繼續專注于同一個難題－探索更多的方法，加入更多的數據，改善限制條件，等。你也可以著眼于其他你感興趣的難題。

我的例子是，因為我接下來要學習的東西與我第一篇論文的試驗結果有關，我不得不再次回到那個議題。結果是我把所有的實驗材料都組織整理好去支撐我的論文（寫一篇論文是讀PhD的首要任務）。如果我可以選擇，我將不會那樣做。我將追求如何有效地加強我的論文，例如用一個客戶為主體，使用更多的切實全面有效地方法，和測試不同方法而不是僅僅去支持矢量機器。因此，我仍然在審視核心觀點－在情感分析當中，客戶的身份背景應該被考慮進去，這個方法直到今天仍然切實有效。但是我已經采取了自己地方法并且繼續進行下去。