
作者 | 紫杉
來源 | Charlotte數據挖掘
前言
我個人認為,在AI這塊領域,未來最缺的一是工程能力強的算法人才,過去兩年因為剛興起,所以很多人可能只會調參就能找到工作,但是這兩年資本寒冬,市場不好,只會調參的「調參俠」已經遠遠不能滿足工業界的需求了,對于模型的部署、壓縮、上線等等都需要有非常強的工程能力才行;二是具有落地思維的算法/產品。能夠把空想的、很難落地的項目做到落地,才是真正有價值的有意義的事,沒有任何落地,紙上談兵,撐不了幾年的。
正文
這個問題不是很好回答。前一半問題是“哪個方向”,似乎講的是領域和研究方向,后一半問題“最緊缺人才”,又和就業有關。所以我的回答盡量把這兩方面兼顧,先談就業和工業界緊缺的人才,再說說學術界缺少的人才。
我最近被兩個前輩抓到他們的創業公司做暑期實習,公司是什么最好就不說了,但除我之外還騙來了一個清華的本科生(從北京騙到了硅谷)。兩位前輩一個是Sebastian Thrun(賽巴斯提安·特龍)的學生,一位是Stefano Ermon的學生,去年在AAAI拿了個最佳論文的獎。
我雖然對工業界一直都不太熟悉,但借這個機會算是好好看到了一番目前人工智能創業公司的有趣情景。雖然不一定能當做借鑒,但一些經驗對目前在?;蛘邉傠x校的學生來講也許會有幫助。
靈活解決問題的人
我用了一周的時間讀丹尼爾的代碼(夠慢了吧,完全趕不上很多國內的優秀學生),然后打開Jupyter Notebook開始一點點的做分析,最后發現丹尼爾把文本距離的算法做錯了,任何從事自然語言處理的人都明白edit distance(編輯距離)的首選就是萊文斯坦距離,就算不是做自然語言處理的,這個距離在計算機界也用的很多。但這個距離壓根不存在于丹尼爾的任何代碼中。然后我把這一行加入進去,代碼跑了5小時,最后給札德說:我做完了,檢查質量吧。
一周后,丹尼爾就被炒魷魚了……然后公司的另一個創始人羅素開始到處宣傳我用了一周解決了別人六個月都解決不了的問題。(當然,丹尼爾最后找到了一份谷歌的工作,開開心心的做機器人去了)
舉這個例子想說明一件事:要建立起在某個領域的直覺和精通。這個精通并不單單是掌握一兩個(甚至是好幾個)算法就可以了的。不可能用一個算法解決所有的問題。
基礎是必須扎實的,這個基礎最好是某一個領域將近20-30年的知識的積累。只會跑個LSTM是肯定不行的。
專精一個領域的人
這里要講另外一個同學的例子了,他的名字叫伊森,從伊利諾伊香檳畢業,在我校讀了兩年計算機研究生,跟在航天航空工程學院的Mykel Kochendefer(麥克·寇克德福爾)教授麾下做了一段時間的研究,是一位非常優秀,有自學能力的學生。
暑假剛開始的時候,我在帕羅奧圖的街上偶然遇見他,因為有過一面之緣,打了招呼后順帶聊了聊現狀,當我告訴他我加入了札德的公司的時候,他說他幾天后要跟札德面試。
我在回答開頭劇透了,伊森沒能應聘成功。在這里分享的意義是,伊森的背景和很多進入人工智能領域的人很相似。下面這一段是我和他的對話:
我:“你最擅長的人工智能領域是什么呢?”
伊森:“我什么都會(jack-of-all-trades)?!?/span>
(評論:這很容易誤導招聘者讓他們覺得你樣樣都不專精)
我:“你在寇克德福爾教授那里做了什么樣的研究呢?”
伊森:“我給無人機搭建了一個服務器,用了Kafka做流處理?!?/span>
(評論:這句話暴露缺乏研究經歷)——雖然Kafka也還算是有趣
我:“怎樣的工作在你看來最有趣呢?”
伊森:“我想有機會把最前沿的算法應用在公司的業務中?!?/span>
(評論:算法沒有前沿與不前沿之分,只有合適與不合適之分)
我:“你理想的工作崗位是什么呢?”
伊森:“我其實最想當人工智能的產品經理?!?/span>
(評論:其實產品經理的收入不如程序員哦)
最后伊森問了我一個問題,如何在一周內精通自然語言處理,然后我只能告訴他我不知道。
舉這個例子的意思是,伊森是一個聰明人,有很強的工程背景(伊利諾伊香檳的計算機系很不錯),但是卻不一定是機器學習/人工智能創業公司的最理想人才,為什么呢?因為在學校階段沒有在實驗室做研究型工作,也沒有足夠的實踐經驗。他找錯了教授(抱錯了大腿)??芸说赂柦淌跊]有給他任何研究性質的工作,于是他用了兩年寶貴的時光學習了如何搭建服務器,如何使用Kafka。
當然,如果想要做普通的工程師崗位,任何(不論大?。┕径既眱炐愕暮蠖斯こ處?,但如果想應聘機器學習方面的崗位,或者和算法、研發比較接近,那么搭建平臺或者服務器的“研究”經歷就是不夠的。
如果本科有個很好的學校,或者特別擅長學習,這一類的優秀人才很容易陷入每一個領域都想學學的陷阱。再加上“大公司要專才,小公司要全才”一類的宣傳,很容易覺得如果每方面都學一點,那么一定會被創業公司喜愛。
事實上機器學習的底層模型原理都是類似的,與其在應用層(比如機器控制、視覺、語言、語音)等瞎晃,還不如去把底層原理弄清楚。人工智能的創業公司,和普通的網頁或者手機應用公司還是有區別的。這些公司更看重學生在學術領域的成績,因為目前大部分人工智能的模型是沒法直接搬到工業場景的。
能夠把學術模型轉化成工業模型的人
這里要講一個成功案例,Nihil (尼希爾)是另一個我認識的研究生,也是從伊利諾伊香檳大學畢業。尼希爾其實比我年紀大好幾歲,但長著一張娃娃臉,他之前在LinkedIn(領英)做大規模搜索(Scaled Search),專門負責把理論算法擴大到工業場景中,擅長搭建后臺,有很強的工程背景。兩年的斯坦福計算機碩士后,現在被Snapchat找去做大規模視頻搜索算法。
無論是我還是札德,在和他交流后都很想讓他跳槽來我們這里工作。
也許你想問,他和伊森的區別是什么?兩個人看起來不都差不多,都是以做服務器或后端為主,為什么尼希爾是大家想要的人才,伊森并不完全算是?因為經歷和背景,在領英這樣的大公司做高吞吐高負荷的算法所積累的技能,是一個實驗室的無人機平臺無法企及的。
任何人都可以跑一個LSTM,但是當訓練數據有超過1000萬條的時候,LSTM需要跑3天才能見完所有的數據,在這個情況下,你該怎么做?除了在多個GPU上并行以外,還可以進行算法上的改進,LSTM是所謂的線性時間度 O(n)的算法,可以換成像ByteNet這樣的sub-linear時間度
算法。
谷歌最近發了一篇通報,說他們的工程師團隊經過一年的努力,終于把WaveNet(某個能夠生成高仿真人聲的模型)速度提升到了一秒鐘生成二十秒鐘的人的說話聲音,比學術模型快1000倍。我當時看了這篇文章后,在網上隨手搜了搜,發現谷歌沒有公開任何加速的細節,究竟是如何做到的,他們并沒有說。Awni Hannan(奧尼·哈南),我的一個前輩,之前和吳恩達教授在百度硅谷工作,說他大概能猜測到谷歌為了優化所做的一些事情。但不難想象,這很有可能是一系列的優化,從硬件,從計算,從部署等等進行的細致優化。這樣的細節雖然有“學術”價值,但從這里開始,大部分公司都不再會公開細節,讓中小型公司(創業公司)難以望其項背。
這樣的場景就需要有研究背景的人才,能夠閱讀業內最新的論文,還能夠結合學術前沿切實的解決工業上的難題。深度學習50%是學術,50%是工程。這個領域的學術大牛,像是Justin Johnson(賈斯汀·強森),Andrej Karpathy(安德烈·卡帕西)(兩人都是斯坦福CS231N的講師)都是很強的工程能手。
能夠研究深度學習理論的人
去年暑假我上凸優化的時候,當時我的老師Stephen Boyd(史蒂芬·波伊德)就說,當年(80年代)凸優化剛火的時候,學術界和工業界齊頭并進,但大部分優秀論文都集中在學術界,用凸優化的框架建立算法,然后應用在各種數據集上,取得一個又一個輝煌的成果。但隨著時間推移,沒過十年,學術界在數據和應用就已經趕不上工業界了。當然,學術界既沒有足夠多的機器,也沒有財力去搜集大量的數據,當工業界開始用資本大規模投入的時候,學術界自然就戰勝不了工業界了。
我們現在已經可以看到苗頭了,DeepMind,谷歌,OpenAI,微軟,FAIR等各大公司搶占人工智能高地,大量的發出論文,傳統的強校諸如CMU或斯坦福都比不上這些大公司的勢頭和影響力。這個情況在3-5年后很有可能會惡化。
也許很多人覺得深度學習的理論就是數學,理論根本不能有任何實踐產出,何必研究理論呢?還不如寫網頁前端或者做個手機App呢。
我今年聽了Philip Thomas(菲利普·托馬斯)的一個講座,講的是安全增強學習(Safe RL),這個講座講了一個案例,他們想要通過增強學習來自動調解糖尿病病人的給藥泵,這個泵給藥給多了,病人就要截肢,給少了病人就要直接休克死。高不成低不就的典型代表。目前這種泵的算法是一個簡單的微分方程,能保證不會少給藥,但是經常會多給藥,導致很多重度糖尿病都要被截肢。
菲利普的這個項目就是要嘗試著用增強學習來得到一個優良的自動調整模型。這個項目立意很好,救人一條腿勝造七級浮屠嘛,但是菲利普問了在座的我們一個問題:“你們知道現在這些增強學習的算法,需要多少次試驗才能調出一個成功的模型嗎?”
需要上百萬次參數調整后,才能得到一個很好的模型。你總不能對幾百萬糖尿病患者說:“為了所有現在以及未來的糖尿病患者,你們去死吧?!?而且更重要的是,增強學習算法經常不能保證每一次參數改變后都能讓模型變得更好:
這就像是說,我不知道這一顆藥讓你更健康還是讓你死掉(或截肢),但是為了實驗效果,你最好給我吃下去。
為了真正的把增強學習應用在醫療領域,需要通過概率理論,通過各種Bound(邊界)去證明一個算法能切實的每次都達到更好的效果。這就是理論對工業界的指導,也是理論在應用領域的勝利。
每個機器學習的領域,不論是自然語言處理、機器視覺、機器人其實都是這樣的人才緊缺規律,找到自己最適合的缺口才是最重要的。這可以是能夠將一個算法高度并行化,在上百塊GPU上運行的工程人才,也可以是在高危領域(比如無人駕駛、醫療)保證安全第一的理論人才。這兩塊區域在未來的3-5年內都會急缺人才。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25