避免五大誤區丨數據科學家新手進階之路

你為成為數據科學家做好了充分的準備。你參加Kaggle比賽，看了大量的Coursera課程。你感覺已經準備好了，但數據科學家的實際工作將與你的預期大不相同。

本文探討了數據科學家新手的5個常見誤區。這是我在Sébastien Foucaud博士的幫助下一起總結的，他在學術界和行業領域指導年輕數據科學家有超過20年的經驗。本文旨在幫助你更好地走向數據科學家進階之路。

誤區1 熱衷參加Kaggle比賽

你通過參與Kaggle比賽練習了數據科學技能。如果你掌握決策樹和神經網絡那就更好了。但其實作為數據科學家，你不需要完成那么多模型融合。通常，你將花80％的時間進行數據預處理，剩下20％的時間用于構建模型。

參加Kaggle比賽的好處在于，給出的數據都很干凈，從而你有更多的時間調整模型。但是在實際工作中很少出現這種情況，你需要使用不同的格式和命名方式來匯總不同來源的數據。

你需要做的是，熟練掌握你大部分時間將要做的事，即數據預處理。例如抓取圖像或從API收集圖像；從Genius收集歌詞數據等。為解決特定問題準備所需的數據，然后將其輸入到計算機中開始機器學習生命周期。精通數據預處理無疑將大大幫助你成為一名出色的數據科學家，從而讓你在公司制定決策中起到關鍵作用。

誤區2 神經網絡能搞定一切

深度學習模型在計算機視覺和自然語言處理領域優于其他機器學習模型，但也有明顯的缺點。

神經網絡需要大量數據。如果樣本較少，那么使用決策樹或邏輯回歸模型效果會更好。眾所周知，神經網絡難以說明和解釋，因此也被稱為”黑匣子“。當產品負責人或主管對模型輸出產生質疑時，你需要進行解釋，而傳統的模型更容易解釋。

有很多出色的統計學習模型，你需要了解其優缺點，并根據具體任務應用相關模型。除非是用于計算機視覺或自然語音識別等專業領域，否則傳統的機器學習算法的成功率會更高。你很快就會發現，像邏輯回歸等簡單模型是最好的模型。

來源：來自scikit-learn.org的算法表

誤區3 機器學習是產品

在過去十年里，機器學習大受吹捧，許多創業公司都認為機器學習能解決任何存在的問題。

來源：過去5年中機器學習的谷歌指數趨勢

機器學習永遠不應該是產品。機器學習是強大的工具，用于生產滿足客戶需求的產品。機器學習可以用于讓客戶收到精準的商品推薦；準確識別圖像中的對象；幫助企業向用戶展示有價值的廣告。

作為數據科學家，你必須以滿足客戶需求為目標制定計劃，在此基礎上你才能充分利用機器學習。

誤區4 混淆因果關系與相關性

大約90％的數據是在過去幾年中產生的。隨著大數據的出現，機器學習從業者能夠獲得大量數據。由于有大量的數據需要分析評估，學習模型也更容易發現隨機的相關性。

來源：http://www.tylervigen.com/spurious-correlations

上圖顯示了美國小姐的年齡與蒸汽、熱蒸汽和發熱物體導致的謀殺總數。根據這些數據，算法會發現美國小姐的年齡與某些物體導致謀殺間的模式。然而，這些數據點實際上是無關的，并且這兩個變量對其他變量沒有任何預測作用。

當在數據中發現模式時，要應用你的專業知識。當中是相關性還是因果關系？回答這些問題是從數據中得出分析見解的關鍵。

誤區5 優化錯誤的指標

開發機器學習模型遵循敏捷的生命周期。首先，你定義概念和關鍵指標。然后，將結果原型化。接著，不斷進行改進直到指標令你滿意。

在構建機器學習模型時，記得要進行手動錯誤分析。雖然這個過程繁瑣且費時費力，但可以幫助你在迭代中有效地改進模型。

結語

年輕的數據科學家能為公司提供巨大價值。他們通常是自學成才，因為很少有大學設有數據科學學位。同時他們具有強烈的好奇心，并且對自己選擇的領域充滿熱情，并渴望了解更多的知識。對于剛入行的數據科學家來說，一定要注意以上提到的誤區。

注意以下幾點：

· 練習數據管理

· 研究不同模型的優缺點

· 讓模型盡可能簡單

· 檢查結論中的因果性和相關性

· 優化最有希望的指標