我的第一份數據科學實習

在寫本文時，這是我在Quantum Inventions公司實習的最后一天。當我坐在電腦屏幕前，反思過去幾個月的學習歷程，我感到非常的滿足。

在實習即將結束時，縈繞在我腦中的問題是：我學到了些什么？這是我想要的嗎？

作為一名物理學家，我習慣通過推理解答問題從而來尋求真相。事實上，對數據科學家來說，問合適的問題也是至關重要的。

本文分為三個部分：實習前，實習期間，實習后。當中記敘了在這段經歷中我所得到的收獲。也歡迎閱讀我上一篇文章《我是如何從物理學轉行到數據科學領域》。

實習前

我仍然清楚地記得，在2017年11月的期末時我開始閱讀《統計學習導論：基于R應用》(An Introduction to Statistical Learning?—?with Applications in R)。這是第一次接觸到基礎的機器學習知識。

一旦掌握了這些概念之后，我就開始學習熱門的課程Coursera上吳恩達的《機器學習》。雖然剛開始的時候并不那么輕松，但是吳恩達能夠吸引人們的注意力，用簡單的方式解讀復雜的概念。這也許就是我喜歡上機器學習的原因之一。我也強烈建議你試試，機器學習并沒有聽上去那么高大上和復雜。

同時，我開始學習人工智能的另一個重要領域——深度學習。

在掌握了一定的基礎知識之后，我在2017年12月開始了我的第一份數據科學實習。

實習期間

Quantum Inventions專注于向消費者、企業和政府智能交通服務。我是第一位加入研發和分析團隊的數據科學實習生。

在剛開始的幾天，我認識到了許多出色的同事，接觸到許多行業術語以及正在進行的項目。在這次實習中，Quantum Inventions給了我足夠的信任和自由，讓我能夠選擇感興趣的項目，并為其而努力。

令我吃驚的是，目前我著手的這個項目是之前沒有人做過的。這時就需要大量的研究，存在許多不確定性和困難，但是我仍然樂在其中。為什么呢？很簡單，因為我能夠有機會從頭開始體驗整個數據科學工作流程。

下面我將列出我所經歷的工作流程，在這一過程中為我進入數據科學領域打下了一定的基礎。希望能夠給你帶來一些幫助。

1. 了解業務問題

我所選的項目是預測短期高速公路行程時間。正如我所說的，提出合適的問題對數據科學家來說非常重要。 在項目完成前，需要提出大量的問題，從而了解實際的業務問題：可用的數據源，項目的最終目標等等。我們的目標是更準確地預測新加坡高速公路行程時間。

2. 收集數據源

我對新項目感到十分興奮，然后我開始從數據庫等渠道收集數據源。收集正確的數據源類似在不同網站抓取數據，以便稍后進行數據預處理。這一過程非常重要，這可能會影響你在后期建立模型的準確性。

3. 數據預處理

真實世界的數據并不那么理想。我們不能期望會獲得Kaggle比賽中那樣格式良好且干凈的數據。因此，數據預處理(也稱為數據管理或數據清理)至關重要。該過程占到整個工作流程的40％-70％，對提供給模型的數據進行清理。

Garbage in, Garbage out。(無用輸入，無用輸出)

我喜歡數據科學的一點在于，你必須對自己誠實。如果你沒有把握，認為預處理的數據已經足夠干凈，并可以提供給模型，那么將存在使用錯誤數據構建模型的風險。換句話說，你需要從專業的角度質疑自己，確認數據是否可以使用。嚴格用閾值檢查數據，確認整個數據集中是否存在其他異常、缺失或不一致的數據。

我對這個過程格外謹慎，之前我僅僅因為預處理步驟中的小疏忽就給模型提供了錯誤的數據。

4. 建立模型

經過一番研究，對于項目我提出了以下四個模型：支持向量回歸(SVR)，多層感知器(MLP)，長期短期記憶網咯(LSTM)和狀態空間神經網絡(SSNN)。

對于還在學習在線課程的我來說，從頭開始構建不同的模型無疑是十分困難的。幸運的是，Scikit-learn and Keras拯救了我，因為它們很容易學習，能夠快速構建原型模型，并用Python進行編寫。此外，我還學習了如何使用多種技術優化模型，并調整每個模型的參數。

5. 模型評估

為了評估每個模型的性能，我主要使用了以下指標：

· 平均絕對誤差(MAE)

· 均方誤差(MSE)

· 測定系數(R2)

在這個階段，重復步驟3-5(可互換)，直到得出的最佳模型能夠超越基線估計。

實習后

這次實習加深了我對數據科學領域的熱愛，這段經歷為我之后的工作也提供了一些動力。我也大大提高了自身的能力，比如與不同人群進行利益的溝通技巧，利用數據解決業務問題等等。

數據科學行業還是一個新興領域，對于我們這些求職者來說，有時當中的一些工作描述可能有些模棱兩可。因此在求職時，發現自己不具備崗位所需的全部技能是完全正常的，因為大多數工作描述都是按照理想的方式寫的，從而符合雇主的期望。

當在學習或工作中遇到疑問時，你可以從在線課程、書籍和文章中進行學習，這也是我仍在做的，并通過個人項目或實習來應用所學到的知識。請耐心一點，學習的過程需要大量的精力和時間。

在最后，記得問自己：你學到了什么？這是你要的嗎？