由Mihail Eric著，《機器學習研究與教育》。

參加KDnuggets工作滿意度調查，部分靈感來自這個博客。

以下是受此帖子啟發的KDnuggets漫畫

數據。它無處不在，我們只會得到更多。在過去的5-10年里，數據科學吸引了來自四面八方的新來者試圖嘗到這一禁果。

但是，Data Science招聘的現狀是什么呢？

下面是這篇文章的要點，用兩句話寫給忙碌的讀者。

TLDR:與數據科學相比，數據工程公司的開放角色70%。當我們培養下一代數據和機器學習從業者時，讓我們更加強調工程技能。

作為我為數據專業人員開發教育平臺的工作的一部分，我對數據驅動（機器學習和數據科學）角色的市場是如何發展的有很多思考。

在與數十名數據領域的潛在進入者（包括世界各地頂級院校的學生）的交談中，我看到了大量的困惑，即哪些技能對幫助候選人在人群中脫穎而出和為他們的職業生涯做準備最重要。

仔細想想，數據科學家可以負責以下任何子集：機器學習建模、可視化、數據清理和處理（即SQL爭論）、工程和生產部署。

你是如何開始為新人推薦學習課程的？

數據勝于雄辯。因此，我決定對自2012年以來Y-Combinator的每家公司雇傭的數據角色進行分析。指導我研究的問題：

• 公司最常招聘的數據角色是什么？
• 我們經常談論的傳統的數據科學家有多受歡迎？
• 啟動數據革命的技能在今天是否相關？

如果你想要完整的細節和分析，請繼續閱讀。

方法論

我選擇對YC投資組合公司進行分析，這些公司聲稱將某種數據作為其價值主張的一部分。

為什么要關注YC？首先，他們很好地提供了一個易于搜索的公司目錄。

此外，作為一個特別有前瞻性的孵化器，十多年來資助了來自世界各地的公司，我覺得他們提供了一個有代表性的市場樣本，可以用來進行我的分析。話雖如此，但對我所說的半信半疑，因為我沒有分析超大型科技公司。

我搜索了2012年以來YC所有公司的主頁網址，產生了一個大約1400家公司的初始池。

為何止步于2012年？2012年是AlexNet贏得ImageNet競賽的一年，有效地啟動了我們現在正在經歷的機器學習和數據建模浪潮。公平地說，這孕育了最早幾代數據第一的公司。

從這個初始池中，我執行了關鍵字過濾，以減少我必須查看的相關公司的數量。特別是，我只考慮了網站至少包含以下術語之一的公司:AI、CV、NLP、自然語言處理、計算機視覺、人工智能、機器、ML、數據。我也忽略了網站鏈接被打破的公司。

這是否產生了大量的假陽性？絕對！但在這里，我試圖盡可能地優先考慮高召回，認識到我將對相關角色的單個網站進行更細粒度的手動檢查。

有了這個精簡的職位庫，我瀏覽了每個網站，找到了招聘廣告的位置（通常是Careers、jobs或We正在招聘頁面），并記錄了標題中包含數據、機器學習、NLP或簡歷的每個角色。這給了我一個大約70家不同的公司招聘數據角色的池。

這里有一個提示：可以想象，我錯過了一些公司，因為有些網站信息很少（通常是秘密的），實際上可能正在招聘。此外，有些公司沒有正式的職業頁面，但要求潛在候選人直接通過電子郵件聯系。

我忽略了這兩種類型的公司，而不是接觸他們，所以他們不是本分析的一部分。

另一件事：這項研究的大部分是在2020年的最后幾周完成的。隨著公司定期更新其頁面，打開的角色可能已經更改。然而，我不相信這會對得出的結論產生重大影響。

數據從業者負責什么？

在深入研究結果之前，值得花一些時間澄清每個數據角色通常負責什么職責。下面是我們將花時間研究的四個角色，并對它們的工作進行簡短描述：

• 數據科學家:使用統計學和機器學習中的各種技術來處理和分析數據。通常負責構建模型，以探索可以從某個數據源中學到什么，盡管通常是在原型而不是生產級別。
• data Engineer:開發一組健壯且可伸縮的數據處理工具/平臺。必須適應SQL/NOSQL數據庫的爭論和構建/維護ETL管道。
• 機器學習(ML)工程師:通常負責訓練模型和生成模型。需要熟悉一些高級ML框架，并且必須能夠為模型構建可伸縮的訓練、推理和部署管道。
• 機器學習(ML)科學家:從事尖端研究。通常負責探索可以在學術會議上發表的新想法。通常只需要在將新的最先進的模型交給ML工程師進行生產之前對它們進行原型化。

有多少個數據角色？

那么，當我們繪制公司招聘的每個數據角色的頻率時，會發生什么呢？劇情是這樣的：

與傳統的數據科學家相比，數據工程師的開放角色比傳統的數據科學家多了多少。在本例中，原始計數對應于公司雇用的數據工程師的大約比雇用數據科學家的多55%，機器學習工程師的數量與雇用數據科學家的數量大致相同。

但我們可以做得更多。如果你看看各個角色的標題，似乎有一些重復。

讓我們只通過角色整合來提供粗粒度的分類。換句話說，我選擇了描述大致相同的角色，并將它們合并在一個單一的標題下。

這包括以下一組等價關系：

• NLP工程師≈CV工程師≈ML工程師≈Deep Learning工程師（雖然域可能不同，但職責大致相同）
• ML科學家≈Deep Learning研究員≈ML實習生（實習描述似乎非常注重研究）
• 數據工程師≈數據架構師≈數據主管≈數據平臺工程師

如果我們不喜歡處理原始計數，這里有一些百分比讓我們放心：

我可能可以將ML研究工程師歸入ML科學家或ML工程師中的一個容器，但是考慮到它有點混合角色，所以我保留了它。

總的來說，合并使差異更加明顯！有~70%開放的數據工程師職位比數據科學家職位多。此外，還有~40%開放的ML工程師職位比數據科學家職位多。也只有~30%ML科學家和Data科學家職位一樣多。

外賣

與其他數據驅動的職業相比，數據工程師的需求越來越高。從某種意義上說，這代表了更廣泛領域的進化。

當機器學習在5-8年前變得火熱時，公司決定他們需要能夠在數據上制作分類器的人。但后來像TensorFlowandPyTorch等框架變得非常好，使深度學習和機器學習開始的能力民主化。

這使數據建模技術商品化了。

今天，幫助公司獲得機器學習和建模對生產的洞察的瓶頸集中在數據問題上。

如何注釋數據？如何處理和清理數據？你怎么把它從A移到B？你是如何以最快的速度每天這樣做的？

所有這些都意味著擁有良好的工程技能。

這聽起來可能很無聊，也不性感，但老派的軟件工程傾向于數據可能是我們現在真正需要的。

多年來，由于酷炫的演示和媒體炒作，我們已經迷戀上了數據專業人士的想法，他們為原始數據注入了活力。畢竟，您最后一次看到關于ETL管道的cruncharticle是什么時候？

如果沒有別的，我相信固體工程是我們在數據科學工作培訓或教育項目中強調不夠的東西。除了學習如何使用linear_regression.fit()之外，還要學習如何編寫單元測試！

那么這是否意味著你不應該學習數據科學？沒有。

這意味著競爭將變得更加激烈。市場上有大量受過數據科學培訓的新人，可供選擇的職位將會減少。

總是需要能夠有效地分析和從數據中提取可操作的見解的人。但他們必須是好的。

從Tensorflow網站上下載他們Iris DataSet上的預訓練模型可能已經不足以獲得數據科學的工作。

然而，很明顯，隨著ML Engineer的大量空缺，公司通常需要一個混合數據實踐者：能夠構建和部署模型的人?；蛘?，更簡潔地說，有人可以使用Tensorflow但也可以從源代碼構建它。

這里的另一個要點是，沒有那么多的ML研究職位。

機器學習研究往往會得到相當一部分的炒作，因為這是所有尖端東西發生的地方，所有的AlphaGo、GPT-3等等。

但對于許多公司，尤其是處于早期階段的公司來說，前沿的尖端技術可能不再是他們所需要的了。獲得一個90%的模型，但可以擴展到1000+用戶，對他們來說往往更有價值。

這并不是說機器學習研究沒有重要的位置。絕對不行.

但你可能會在行業研究實驗室找到更多這類角色，它們能夠承擔長期資本密集型押注的費用，而不是在種子期初創企業試圖向投資者展示產品與市場的契合度，因為它獲得了a系列。

如果沒有別的，我相信重要的是使新來的人對數據領域的期望合理和校準。我們必須承認數據科學現在已經不同了。我希望這篇文章能夠對今天的比賽狀態有所了解。只有當我們知道我們在哪里，我們才知道我們需要去哪里。