熱線電話:13121318867

登錄
首頁精彩閱讀大數據分析:六大訣竅解決大數據主要問題
大數據分析:六大訣竅解決大數據主要問題
2016-03-14
收藏
大數據分析:六大訣竅解決大數據主要問題


每次在為一家企業搭建大數據平臺的起步階段,他們總是向我展示各種他們采用的各種前沿技術,還有他們視若珍寶的數據儲備。但是毫不避諱地講,我根本不想在這個階段討論這些方面的細節。因為炫酷的技術或海量的數據儲備并不是大數據項目成功最關鍵因素。


一通展示過后,我會想我的客戶發問,這個項目所關心的核心問題究竟是什么?貴方是否有相應的解決方案和能力?我通常得到的都是肯定的答復,但我心里明白,實際情況遠非如此。就算各方面的技術專家、業界精英都參與到這個項目中,也沒人可以找到一套通用的分工合作準則來確保該項目的順利進行。

大數據的真正威力在于,一支全能團隊能以打破常規的方式高效運轉,開發、利用大數據,發現其中價值。而后對產品進行優化,再通過深入的思考與探究,對現有核心業務加以拓展、創新。

對大數據的認知相在開發中是至關重要的。假設我們將大數據的作用范圍限定在一項業務或一家企業現有的涉及領域,僅對其加以技術上的利用,以求解決一些當下所面臨的或傳統的問題,這固然是又不小的實際意義。但是如果將大數據地應用在深度和廣度上都加以提高的話,我們最終收到的效益恐怕會飆升一個數量級。如此程度的質的躍升當然不是唾手可得之事。這要求相關各方的通力合作,其中包括產品用戶(分析人員、下游產品的開發人員)、軟件工程師、數據管理專家、DevOps(開發、運營、QA的綜合角色)和的商務方面專家。

數據湖泊將使這樣一支全能團隊如魚得水、如虎添翼。它可以為用戶提供一個更宏觀和更高維的角度審視和分析一項業務甚至一個行業。用戶可以對每個細枝末節進行時間軸上的追溯,將情景重現,加以深入分析。一旦大數據團隊確立目標,手握適當的分析工具,任何數據開發及應用問題的解決過程都應勢如破竹。團隊成員可以運用各自專場攻克壁壘,保證項目進展順暢。此外,數據湖泊應該成為團隊活動、交流的平臺和中間媒介。

上述理想的狀態有一種非常極端的反面。在這種極端的情況下,團隊成員各自為陣,只顧單槍匹馬埋頭蠻干,從不分享交流;項目的各種的日程安排紛亂繁雜且沖突頻頻,還有許多不必要的大小會議;還會有人在辦公時間過度的休息消遣;當然這也少不了最受詬病的各種官僚化的政策。大數據和Hadoop顯然沒有什么魔力消除這些工作中的減分項,但它們內在的無限潛能給人帶來一種對于未知的好奇與興奮。正是這樣一種魅力可以激勵一個團隊不斷地了解未知、創造價值。這才是我從成功案例中提煉到的制勝法寶。

在幫助企業做項目木的過程中,我總是強調兩點。其一,是要有一個全能的團隊,而且要抱團協作;其二,就是一定要搭建一座強大的數據湖泊。以下六點訣竅可以幫助企業解決我所見到過的大部分常見的主要問題。

1.要有目標做領航

一個明確的整體目標絕不是一個可有可無或無人問津的東西。目標的設立切忌過于宏偉,以致無法達成。項目初期要對產品藍圖進行規劃,并著力于完成一些較易實現又有長遠意義的小產品,一般這樣的產品都是數據湖泊的組分或基礎。這個階段的團隊一定要小而精,隨著項目開發的推進,團隊的規模和多元化程度都會自然而然的得到提升。

2.搭建一座企業級的數據湖

企業級的數據湖泊是企業長久經營各項業務的必要條件。而在Hadoop平臺上簡單的數據的堆砌,并不能打通企業各部門之間的脈絡,或將他們有機的粘合起來。在一個企業級的數據湖泊中,用戶可以根據不同需求提取元數據,用來組織各式數據,也可以進行數據變換并記錄各級數據間的關系。數據湖泊的所有者應對其各種權限加以嚴格的管理,也應在其備份、存檔等方面的管理上做足功課。

3.樹立信心

一座企業級的數據湖泊應當有較嚴密的安全防護措施,這樣的話就一般就不會允許企業的各個部門直接向其中注入數據。如若沒有這方面的限制,這樣的數據湖泊就很難保持健康穩定,也就無法將不同源的數據進行充分的洗牌、重組。如果企業肯在數據湖泊上下大力氣,力保其可靠性、全面性、精簡化,便可以大大提升企業在數據方面的信心。這是后續業務能成功開展的關鍵。

4.精于變更管理

一個管理團隊必須要有做變更管理的心理準備,而且要精于變更管理。作為團隊主管,必須要為自己的團隊樹立目標并與每個成員對此進行溝通,也要為團隊提供必要的技術培訓,等等。這些都要求管理者有領導才能,這其中涵蓋的各項具體能力在不同的行業中會不盡相同。但大部分的失敗案例顯示,變更管理能力的欠佳,往往都是成功路上的阻礙。

5.掌握相關技能

許多大公司都擁有不少天賦異稟的人才,但他們往往沒有掌握最新的技術和某些技能,也沒有相應的實戰經驗。正是這些經驗會使我們明白如何才能高效地利用最適當的手段解決不同的數據問題。理論上的培訓固然是必不可少的,但真正使人成長的還是實踐應用。而一個經驗豐富的導師通常都會讓培訓和實踐都事半功倍。一個全能團隊中的成員往往都是從其他項目抽借過來,如果他們個個都要兼顧原本工作的話,那么我們的項目是很難做出成績的。這些牛人總是被其他的領導所覬覦,所以老辣的管理者千方百計的讓這些人才死心塌地為己所用。

6.重視開發、分析工具的利用

市面上不乏那些可以直接與大數據平臺對接的分析挖掘工具,當然我們也可以選擇使用諸如Presto之類基于SQL的工具讀取數據,然后再加以利用。除此之外我們還有純大數據工具,例如Zoomdata和Datameer。如果我們給成型的數據湖泊配以適當的工具的話,實乃如虎添翼。反之,如果我們只是把Hadoop當做一個文件系統,而不去嘗試著從創新的角度融合、重組、剖析數據的話,數據湖泊的價值就會大大縮水。

若能做到以上幾點,我們就可以很大程度上將數據、運營體系和具體的業務有機的結合起來,避免一個大數據項目的無疾而終。將以上建議牢記于心,并在大數據開發、大數據分析的過程中把它們一一落到實處,一個團隊定能在所從事領域中洞悉一切、行動敏銳、引領風潮。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢