
我已經在iZettle工作了大約四年了。我在這家公司的旅程并不是以機器學習工程師的身份開始的,而是隨著我在公司的成長而過渡到機器學習工程師。
我的正規教育是計算機科學/軟件工程,事實上我已經做了大約8年的軟件開發人員。作為一名軟件工程師,這些年給了我一些技能,這些技能使我走向ML工程的道路變得相當特別。我想和大家分享我希望在準備這個角色時能更多地關注什么,以及我認為我的背景如何幫助我完成這個轉變。
首先-為什么?我對我的軟件工程師工作不滿意嗎?我認為做一名ML工程師比做一名軟件工程師更好嗎?絕不是!這只是我喜歡花什么時間的問題,那就是數據。我從15歲就開始編碼了,我一直很喜歡它。但我最喜歡的是用我的作品去了解世界。作為許多人,我有許多“寵物項目”想法永遠不會出現,但當我閱讀這份想法清單時,我發現了這樣的事情:構建工具來使用推特數據來檢測自然災害,分析我的社交媒體賬戶數據來理解我自己的行為,檢測朋友聊天中的情緒,等等。你看到模式了嗎?所有這些項目想法都尋求對某些情況的理解,并且都以數據為中心。那時我一直對數據很感興趣,大約兩年前我決定把它作為我的主要工作。我想認為機器學習是我個人的選擇,但本著數據驅動的精神,我可以將我的決定與近年來機器學習領域的炒作聯系起來,當時你讀到的每一篇科技文章都是關于ML創新的,所以我想我永遠不會知道。
不管怎樣,我做出了這個決定,對我來說幸運的是,iZettle正在運行一個機器學習指導項目,我很高興地加入了這個項目。
在這個指導程序中,我們學習了bookPython機器學習的所有章節。每周,我們會討論一章,編寫一些練習來實驗所學的概念。我發現它非常令人興奮,它確實奠定了我對機器學習如何工作的基本理解。
除此之外,我利用空閑時間參加了一些在線課程,比如Udacity中的aDeep Learning Specialisation,參加inKagglecompetitions(我不得不承認,沒有太大成功),并試圖實施我之前提到的一些項目。
我告訴你們所有這些不是為了吹牛,而是為了讓你們明白我正在盡可能多地吸收關于這個主題的知識,當我準備更換標題時,我覺得我對機器學習有非常扎實的理解。
經過6個多月的緊張學習,我加入了iZettle的機器學習團隊。
我充滿活力地加入了這個團隊,渴望開始我的第一個項目。從第一個項目開始,我開始注意到學習機器學習和實際做機器學習是多么的不同。第一個項目是試圖為我們的商人預測破產,這樣我們就可以伸出援手,幫助他們做生意。
當你做一個來自一門課程或一本書的項目時,該項目最重要的部分已經為你完成了。也就是說:您到底想做什么?在課程中,您會得到一個數據集和一個目標度量,您所要做的就是“按摩”您的數據和訓練模型,以便在您的目標度量上獲得良好的性能。
在這種情況下,有幾件事你沒有學到,甚至從來沒有質疑過:
問題定義:如何將問題公式化,以便從機器學習的角度來看它是有意義的?對于破產問題,我感到震驚的是,我的腦海中突然冒出了多少問題,幾乎是不知從哪里冒出來的:預測破產意味著什么?是不是意味著一個商人明天就要破產了?一周后?一個月后?我怎么知道我們哪一個商戶已經破產了?是缺乏活動嗎?那么季節性呢?是一些外部信息嗎?我如何將它映射到一個標簽,讓我的算法可以從中學習?…我太習慣于被賦予一個有標簽的數據集,以至于我從未考慮過僅僅創建這個標簽需要大量的思考、領域知識和業務考慮。這取決于您如何定義標簽,您可以使用的問題和功能完全改變。
data:我已經暗示了接下來會發生什么,而且眾所周知,獲取正確的數據是ML問題的一個困難部分。然而,當你第一次偶然發現這個問題時,它仍然會打擊你。數據很難得到,而且很雜亂,不應該盲目相信。構建標簽實際上是在獲得數據源之后。在我的第一個任務中,我有兩個來自不同來源的數據集,我必須合并并映射到每個商家自己的特性集。對于您引入的每一個新的信息源,您不僅需要確保數據質量是可接受的,而且要確保您沒有引入任何偏見,或者至少您對此做出了解釋。
在某些情況下,你甚至沒有你想要解決的問題的數據,機器學習在任何一行代碼之前幾個月就開始了,建立數據收集策略和與其他團隊的關系。
評估:我們有數據集和標簽。我們開始建?!覀內绾魏饬啃阅??這不僅是使用哪種度量的問題,而且是它是否有業務意義的問題。權衡在這里起著很大的作用。我以前從來沒有考慮過用什么指標來衡量我的模型的性能,這是給定的。我真的在等別人告訴我:使用精確度/ROC-AUC/等。當這種情況沒有發生時,我不得不考慮一個指標及其含義,我意識到花很多時間思考這個問題有多重要,我對我所學的任何一本書或課程都很少關注這個話題感到失望。只要想一想:根據當它實際上是假的(即假陽性)或任何類似的變化時預測真的“糟糕”程度,您可能希望保持最低的精確度或召回率,而不管您的一般度量(如ROC-AUC)如何上升或下降。這只是一個例子,還有很多。
這些是我意識到在我所學的任何課程或閱讀的任何書籍中都沒有學到的要點。這些都是我在工作中日復一日學到的東西,感謝真正有經驗和耐心的同事。
當然,也有一些意想不到的好的部分,在這些部分中,我可以利用我作為一名軟件工程師多年來獲得的技能。列舉一些:
如果您的情況與我類似,我有以下附加練習,用于您正在閱讀的書或您正在學習的課程中的下一個練習。嘗試回答以下問題:
我相信,如果你真的試圖回答所有這些問題,你在學習過程中遇到的每一個練習,你會在“現實生活中”發展出一個更廣泛和現實的機器學習觀點。
我希望這個帖子對很多人的學習之旅有所幫助!如果你有任何問題,請聯系我們,或者想與我們分享你的故事,我們很樂意聽到它!
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25