
每次在為一家企業搭建大數據平臺的起步階段,他們總是向我展示各種他們采用的各種前沿技術,還有他們視若珍寶的數據儲備。但是毫不避諱地講,我根本不想在這個階段討論這些方面的細節。因為炫酷的技術或海量的數據儲備并不是大數據項目成功最關鍵因素。
一通展示過后,我會想我的客戶發問,這個項目所關心的核心問題究竟是什么?貴方是否有相應的解決方案和能力?我通常得到的都是肯定的答復,但我心里明白,實際情況遠非如此。就算各方面的技術專家、業界精英都參與到這個項目中,也沒人可以找到一套通用的分工合作準則來確保該項目的順利進行。
大數據的真正威力在于,一支全能團隊能以打破常規的方式高效運轉,開發、利用大數據,發現其中價值。而后對產品進行優化,再通過深入的思考與探究,對現有核心業務加以拓展、創新。
對大數據的認知相在開發中是至關重要的。假設我們將大數據的作用范圍限定在一項業務或一家企業現有的涉及領域,僅對其加以技術上的利用,以求解決一些當下所面臨的或傳統的問題,這固然是又不小的實際意義。但是如果將大數據地應用在深度和廣度上都加以提高的話,我們最終收到的效益恐怕會飆升一個數量級。如此程度的質的躍升當然不是唾手可得之事。這要求相關各方的通力合作,其中包括產品用戶(分析人員、下游產品的開發人員)、軟件工程師、數據管理專家、DevOps(開發、運營、QA的綜合角色)和的商務方面專家。
數據湖泊將使這樣一支全能團隊如魚得水、如虎添翼。它可以為用戶提供一個更宏觀和更高維的角度審視和分析一項業務甚至一個行業。用戶可以對每個細枝末節進行時間軸上的追溯,將情景重現,加以深入分析。一旦大數據團隊確立目標,手握適當的分析工具,任何數據開發及應用問題的解決過程都應勢如破竹。團隊成員可以運用各自專場攻克壁壘,保證項目進展順暢。此外,數據湖泊應該成為團隊活動、交流的平臺和中間媒介。
上述理想的狀態有一種非常極端的反面。在這種極端的情況下,團隊成員各自為陣,只顧單槍匹馬埋頭蠻干,從不分享交流;項目的各種的日程安排紛亂繁雜且沖突頻頻,還有許多不必要的大小會議;還會有人在辦公時間過度的休息消遣;當然這也少不了最受詬病的各種官僚化的政策。大數據和Hadoop顯然沒有什么魔力消除這些工作中的減分項,但它們內在的無限潛能給人帶來一種對于未知的好奇與興奮。正是這樣一種魅力可以激勵一個團隊不斷地了解未知、創造價值。這才是我從成功案例中提煉到的制勝法寶。
在幫助企業做項目木的過程中,我總是強調兩點。其一,是要有一個全能的團隊,而且要抱團協作;其二,就是一定要搭建一座強大的數據湖泊。以下六點訣竅可以幫助企業解決我所見到過的大部分常見的主要問題。
1.要有目標做領航
一個明確的整體目標絕不是一個可有可無或無人問津的東西。目標的設立切忌過于宏偉,以致無法達成。項目初期要對產品藍圖進行規劃,并著力于完成一些較易實現又有長遠意義的小產品,一般這樣的產品都是數據湖泊的組分或基礎。這個階段的團隊一定要小而精,隨著項目開發的推進,團隊的規模和多元化程度都會自然而然的得到提升。
2.搭建一座企業級的數據湖泊
企業級的數據湖泊是企業長久經營各項業務的必要條件。而在Hadoop平臺上簡單的數據的堆砌,并不能打通企業各部門之間的脈絡,或將他們有機的粘合起來。在一個企業級的數據湖泊中,用戶可以根據不同需求提取元數據,用來組織各式數據,也可以進行數據變換并記錄各級數據間的關系。數據湖泊的所有者應對其各種權限加以嚴格的管理,也應在其備份、存檔等方面的管理上做足功課。
3.樹立信心
一座企業級的數據湖泊應當有較嚴密的安全防護措施,這樣的話就一般就不會允許企業的各個部門直接向其中注入數據。如若沒有這方面的限制,這樣的數據湖泊就很難保持健康穩定,也就無法將不同源的數據進行充分的洗牌、重組。如果企業肯在數據湖泊上下大力氣,力保其可靠性、全面性、精簡化,便可以大大提升企業在數據方面的信心。這是后續業務能成功開展的關鍵。
4.精于變更管理
一個管理團隊必須要有做變更管理的心理準備,而且要精于變更管理。作為團隊主管,必須要為自己的團隊樹立目標并與每個成員對此進行溝通,也要為團隊提供必要的技術培訓,等等。這些都要求管理者有領導才能,這其中涵蓋的各項具體能力在不同的行業中會不盡相同。但大部分的失敗案例顯示,變更管理能力的欠佳,往往都是成功路上的阻礙。
5.掌握相關技能
許多大公司都擁有不少天賦異稟的人才,但他們往往沒有掌握最新的技術和某些技能,也沒有相應的實戰經驗。正是這些經驗會使我們明白如何才能高效地利用最適當的手段解決不同的數據問題。理論上的培訓固然是必不可少的,但真正使人成長的還是實踐應用。而一個經驗豐富的導師通常都會讓培訓和實踐都事半功倍。一個全能團隊中的成員往往都是從其他項目抽借過來,如果他們個個都要兼顧原本工作的話,那么我們的項目是很難做出成績的。這些牛人總是被其他的領導所覬覦,所以老辣的管理者千方百計的讓這些人才死心塌地為己所用。
6.重視開發、分析工具的利用
市面上不乏那些可以直接與大數據平臺對接的分析挖掘工具,當然我們也可以選擇使用諸如Presto之類基于SQL的工具讀取數據,然后再加以利用。除此之外我們還有純大數據工具,例如Zoomdata和Datameer。如果我們給成型的數據湖泊配以適當的工具的話,實乃如虎添翼。反之,如果我們只是把Hadoop當做一個文件系統,而不去嘗試著從創新的角度融合、重組、剖析數據的話,數據湖泊的價值就會大大縮水。
若能做到以上幾點,我們就可以很大程度上將數據、運營體系和具體的業務有機的結合起來,避免一個大數據項目的無疾而終。將以上建議牢記于心,并在大數據開發、大數據分析的過程中把它們一一落到實處,一個團隊定能在所從事領域中洞悉一切、行動敏銳、引領風潮。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25