我對數據科學的熱情始于大約兩年半前。我在做一份與數據科學無關的工作。對我來說，轉行是一個很大的挑戰，因為我有很多東西要學。

經過兩年的學習和奉獻，我終于找到了第一份數據科學家的工作。當然，我的學習之旅并沒有停止。當我做數據科學家的時候，我學到了很多新東西。

學習部分不會改變。然而，我學什么和怎么學發生了巨大的變化。在本文中，我想詳細說明這些變化。如果你正在努力成為一名數據科學家，你可能會經歷同樣的事情。

重要的是要強調，作為一名數據科學家需要不斷學習。數據科學仍在發展，你需要時刻保持新鮮。我認為數據科學還不是一個成熟的領域，所以新的技術和概念經常被引入。

數據的大小

對于一個現實生活中的問題來說，1000萬行并不多。

對我來說，最明顯的變化是數據的大小。當我自己學習的時候，我正在練習最多有10萬行的數據集。我現在認為它是一個小數據集。數據的大小取決于您正在處理的字段和問題。一般來說，1000萬行對于一個實際的問題來說并不多。

使用大型數據集有其自身的挑戰。首先，我需要學習能夠處理此類數據集的新工具。在我開始做數據科學家之前，熊貓對我來說綽綽有余。然而，它并不是一個擁有大規模數據的高效工具。

允許分布式計算的工具更受青睞。Spark是其中最受歡迎的一個。它是一個用于大規模數據處理的分析引擎。Spark允許您將數據和計算分散到集群中，以實現性能的大幅提升。

幸運的是，可以將Spark與Python代碼一起使用。PySpark是一個用于Spark的Python API，它結合了Python的簡單性和Spark的高效性。

云計算

另一個大的變化是從本地環境到云環境。當我學習的時候，我在電腦里做所有的事情（即本地工作）。這對練習和學習來說已經足夠了。

然而，一家公司在當地經營的可能性極小。大多數公司都在云中工作。數據存儲在云中，計算在云中完成，等等。

為了高效地完成工作，獲得對云工具和服務的全面理解是非常重要的。云提供商多種多樣，但主要參與者是AWS、Azure、Google云平臺。我必須學習如何使用他們的服務和管理存儲在云中的數據。

Git

作為一名數據科學家，我經常使用的另一個工具是ISGit。我在學習的時候學會了基本的git命令。但是，在生產環境中工作時就不同了。Git是一個版本控制系統。它維護對代碼所做的所有更改的歷史記錄。

Git允許協作工作。你可能會作為一個團隊在項目上工作。因此，即使你在一家小型初創企業工作，git也是一項必備技能。項目是用Git開發和維護的。

Git比它從外部看起來要復雜一點。然而，你在做了幾個項目后就習慣了。

不僅僅是工具！

工具并不是我學習過程中唯一改變的東西。我處理數據的方式也發生了變化。當您處理一個可隨時使用的數據集時，在清理和處理數據方面，您無能為力。例如，在機器學習任務的情況下，您可以在幾個簡單的步驟后應用模型。

在你的工作中情況會不同。一個項目的很大一部分花費在準備數據上。我不是說只是清理原始數據。這也是重要的一步。然而，探索數據中的底層結構和理解特征之間的關系是至關重要的。

如果您正在處理一個新問題，定義數據需求也將是您的工作。這是另一個需要一套特殊技能的挑戰。領域知識是其中必不可少的一部分。

特征工程比機器學習模型的超參數調整重要得多。通過超參數調優可以實現的功能是有限的，因此可以在一定程度上提高性能。另一方面，一個信息特性有可能大大改善一個模型。

在我作為一名數據科學家開始工作之前，我專注于理解機器學習算法和如何調整模型。我現在把大部分時間都花在準備數據上。

我所說的就緒包括許多步驟，例如

• 清洗和處理數據
• 重新格式化數據
• 探索和理解數據

統計知識對這些步驟非常重要。因此，我強烈建議提高你在這方面的知識。它會在你的數據科學生涯中幫助你很多。

結論

有大量的資源來學習數據科學。您可以使用它們來提高您在數據科學的任何構建塊中的技能。然而，這些資源并不能提供真正的工作經驗。沒有錯。當你找到第一份工作時，讓自己準備好學習一套不同的材料。

謝謝你的閱讀。如果你有任何反饋請讓我知道。