熱線電話:13121318867

登錄
首頁大數據時代90天成為分析工程師
90天成為分析工程師
2022-02-28
收藏

分析工程師是DBT創造(并使之成為可能)的一個新職位。如果一個數據工程師(DE)和一個數據分析師(DA)結婚,他們有一個女嬰,這個女嬰將是一個分析工程師(AE)。嗯,它不是那樣工作的,但你明白了。

語境

AE通常從DA開始創建儀表板并執行臨時查詢。她想做得更多,因為那個家伙像蝸牛一樣工作。她對自己的數據了如指掌,因為她每天花幾個小時使用她的瘋狂SQL技能來導航數據。她還對業務了如指掌,每天都要與他們互動。但她面臨著巨大的挑戰,想要承擔德蓋伊的工作。以下是其中一些:

  • 管道是用Python構建的,她不知道如何編碼(除了SQL)。
  • DE guy提到了一些關于使用git來跟蹤源代碼中的更改的事情。她把她的SQL代碼存儲在word文件中…
  • 她對產生數據的系統知之甚少。
  • 團隊使用各種各樣的工具,她并不都熟悉。
  • 那個德家伙認為這凌駕于她之上,這更激怒了她。

解決方案

要是我們的DA gal能做傲慢的DE做的工作而不成為他就好了…Enterdbt(數據構建工具)!你會問,像這樣的工具如何在這個領域創造一個全新的位置?讓我們看看。

  • 她可以用SQL而不是Python編寫轉換代碼。什么?
  • 她可以通過編程方式測試joins語句中的重復。真的嗎?
  • 她可以編寫數據文檔,這樣業務人員就會少打擾她。不錯!
  • 她可以使用SQL模板使用for循環和變量、pivot數據。太棒了!
  • 她可以顯示數據譜系,這樣人們就可以知道數據來自哪里,以及如何處理這些數據。太棒了!

進化

就這樣,我們的DA gal進化成了ae。

我開玩笑的。它不是那樣工作的。學習新東西需要時間、努力和承諾。如果你能了解我們的爸爸女孩的故事,我想這篇文章會讓你受益。

這里有一個自以為是的技能和技術清單我認為是成為AE忍者所必需的。

  • SQL忍者:如果你是一名士兵,那么SQL就像你的武器。SQL已經成為數據提取和轉換的標準。作為AE或DA,您必須盡可能熟悉SQL。
  • Git戰士:Git是團隊協作的強大工具。你應該像手臂的延伸一樣揮舞這把武器。
  • DBTGuru:DBT是使AE和DA能夠完成DE工作的技術。使用dbt,您可以輕松地參與以前的去only工作,并對數據進行大量處理。
  • BI tools Expert:儀表板不僅是數字和圖形,而且是講述故事的強大工具。
  • 云冠軍:云計算是第四次工業革命的原因之一。成為云冠軍只能幫助你的職業發展。
  • Scrum Master:Scrum是一個利用敏捷思維來開發、交付和維持復雜項目的框架。
  • 文檔倡導者:作為人類,我們只有通過集體學習才能走到這一步。寫作是一種有效的交流工具,你將從練習中受益匪淺。

資源

下面是我們在新的分析工程師上使用的atJoon Solutionst的資源。它作為一個清單效果更好,所以也許你可以把這些復制到你最喜歡的筆記應用程序中。

我不能保證按照這個,你就會成為一個AE。但我相信,沿著這條路,您可以學到很多東西,并且有了正確的環境和團隊,您將發展成為一名分析工程師忍者。

快樂學習!

我變成了aSQL忍者

  • 我上了3所學校的SQLUCL課程
  • 我已經上了qlboltcourse
  • 我已經檢查了BigQuery語法,并問了我需要的所有問題
  • 我至少研究了oneBigQuery公共數據集,并做了一些很酷的查詢。
  • 我知道Window函數是什么以及如何使用它們
  • 我已經簽出了其他資源,如this、this、this
  • 我承認sql很強大

我已成為aGit戰士

  • 我知道什么
  • 我知道典型的Algit工作流是什么樣子的
  • 我已經創建了一個測試repo、一個提交和一個請求
  • 我知道什么是SSH密鑰,在哪里找到它,以及如何將它添加到我的GitHub帳戶
  • 我已經查看了一些很酷的資源,比如這個,這個,還有這個

我已成為adbt大師

  • 我知道dbt是什么,為什么它很強大
  • 我讀過分析工程師指南
  • 我上過dbton-demand課程
  • 我從頭開始建立了一個dbt項目,并建立了一些很棒的模型
  • 我已經通讀并理解了DBT項目清單
  • 我已經通讀并理解了這些最佳實踐
  • 我已經通讀并理解了DBT編碼約定
  • 我已經準備好用dbt構建真正的項目了

我已成為aBI工具專家

  • 我已經研究了BI工具的前景,并知道那里有什么
  • 我讀過分析設置指南
  • 我已經試用并用Power BI構建了一個儀表板
  • 我已經試用并用元數據庫構建了一個儀表板
  • 我已經嘗試并建立了一個帶有全息的儀表板
  • 我已經用Data Studio試用并構建了一個儀表板
  • 我可以自信地說,我知道什么BI工具適合不同的需求

我已經成為aCloud冠軍

  • 我知道一家大型云服務提供商的任何服務
  • 我知道使用云的好處
  • 我已經嘗試創建一個BigQuery數據集和Loaded datain
  • 我試過outBigQuery MLand知道用SQL創建ML模型有多容易

我已成為aScrum大師

  • 我知道crum的開發過程
  • 我讀過關于Jira的Scrum開發
  • 我在data teamshere和這里讀到過scrum
  • 我知道CI/CD,也知道為什么數據團隊也應該使用它

我已成為aDocumentation倡導者

  • 我把學到的東西記錄在案以供參考
  • 我已經寫了至少兩篇關于我在90天里所學到的博客文章
  • 我一直在努力提高我的寫作技巧,包括使用這個,閱讀這個,和這個


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢