熱線電話:13121318867

登錄
首頁大數據時代數據工程師最重要的工具
數據工程師最重要的工具
2022-02-28
收藏

最好的技術人員解決錯誤的問題注定會失敗和沮喪。然而,我們經??吹絺ゴ蟮腜ython開發人員和SQL專家創造出出色的技術,但對業務幾乎沒有什么價值。在某些情況下,情況要糟糕得多。這些解決方案的價值并不值得商榷,而是耗盡了資源,混淆了業務流程。作為數據工程師,我們有責任充分理解我們的解決方案所支持的業務流程。

作為高級數據工程師,我們應該非常了解業務,我們建議如何提高效率和增強工作。一個大膽的聲明,但我會舒舒服服地死在這把劍上,和任何不同意的人戰斗。當然,打個比喻,因為我沒有劍,與其說是斗士,不如說是個情人。關鍵是,我們需要了解業務,有一個重要的工具可以幫助我們實現這一目標。

在我們開始之前,讀一下朱利安·科維齊克的這句精彩的話,它簡潔地指出了問題:

“如今,通過理解底層數據和與之相伴隨的業務流程來塑造數據似乎不如移動數據的能力重要?!?

他在這里說的是,我們太忙于將數據從那里轉移到這里,以及我們可以使用的所有酷的工具,我們忘記了我們首先做這一切的原因。數據工程師從多個來源收集原始數據,并創建可供人和機器有效使用的可消耗軟件包。對我們的消費者來說,介于兩者之間的一切都是一個黑匣子。為什么我們把大部分時間和精力都花在黑匣子上,而不是消耗性的包裝上?

憤世嫉俗的觀點會說,這是因為黑匣子是有趣的部分。雖然這可能是等式中的一個因素,但我相信我們中的許多人只是不太了解業務流程,無法有效地將時間花在改進可消費軟件包上。讓我說清楚。更好地理解業務是你的工作和責任。不容易啊。在一個完美的世界里,我們會有很好的文檔可以依賴,但是…嗯…你知道的。這就是我們數據工程工具箱中最重要的工具。

這是什么基本工具?


問題。就在那兒。問題。很多。好的。壞的。尷尬的那些。所有的問題!這對你來說足夠強調了嗎?你想從好到好嗎?問問題并充分理解您支持的業務流程。我怎么強調都不為過,與一個只關心技術的數據工程師交談是多么令人沮喪,而我是一名數據工程師。想象一下,你是一名財務分析師、人力資源主管或銷售人員。他們需要可消耗的數據包,但可能不理解技術術語。除了他們使用的特定工具之外,他們可能對技術知之甚少。

因此,僅僅提出問題是不夠好的。相反,我們需要用企業理解的語言提出正確的問題。忘掉表、數據源和主鍵吧。這些事情來得更晚,往往是由對更多人的更多問題決定的。相反,詢問人們在日常工作中做了什么。詢問業務目標是什么。工作如何通過各種系統流動。問,直到你完全理解公司使用的業務流程。然后記錄下來。

編寫業務文檔。當然,做這件事是他們的工作,但你才是需要它的人。創建流程圖,包括業務使用的任何工具。包括人們與流程交互的地方。然后和業務一起審查,問更多的問題。您可能會發現沒有一個人能理解所有的事情,所以您將與幾個人交談并最終統一業務流程。您編寫的文檔將成為業務中有價值的工件。砰!你對公司來說是無價之寶。我敢說,你剛成為一名高級數據工程師?

已經打包


作為數據工程師,理解我們的解決方案支持的業務流程是我們的責任。如果不充分了解這些過程,我們注定會受挫和失敗。我們生活的這個不完美的世界通常沒有很好的記錄,而我們數據工程師是需要弄清楚這一切的人。通過提出大量的問題,我們可以更好地理解我們的解決方案支持的業務流程,這使我們能夠不斷改進我們工作的影響。所以,開始吧。質疑一切!


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢