大數據平臺在互聯網行業的應用

本文是對大數據在互聯網行業應用的總結。以實際經驗講解了大數據從雛形到發展，以及發展過程中傳統數據倉庫到大數據平臺的轉化和大數據的可視化應用。

大數據顯雛形——發展

所有公司在一開始時，數據的建設都是比較落后的，但隨著互聯網的環境推動，以及公司計劃2013年在紐約交易所上市，這時候面臨一個很大的問題。在上市之前，公司的數據，無論是流量數據還是財務產品數據都需要經過非常嚴格的審計。為此，我們開始整理數據，做數據報表，花費一年多的時間做數據整理、數據規范，慢慢的大數據的平臺有了雛形。

后來公司上市之后，數據運營的重點從反映過去和現在的狀況轉變成指導業務、管理業績、支持銷售。

2015年到2016年這兩年，公司將目標投入到數據智能上，建立了一個非常大的系統平臺，并且讓整個銷售和產品運營體系全面實施數據化運營。在這個平臺上，我們不僅僅要進行管理銷售，還要構建銷售能力模型，預測未來業績。因為在美國市場的股價，更多的是依賴公司未來的發展，公司未來預期決定了公司現在的股價，因此總共的業績預測非常重要，能夠非常精確的3   預測銷售更加重要。

大數據平臺建設

公司擁有很多的業務數據庫，有訂單、CRM、合同管理、人力資源等數據庫。以往，我們會把這些數據庫里的數據做集成，做一個簡單的數據倉庫，然后根據業務需求，在數據集成的基礎上，通過帆軟報表建立一個決策系統，做數據展示，提供服務。這個過程的好處是開發成本低，投入成本低，技術架構簡單，可以非?？焖俚脑诠緝炔窟\行起來。

但是這樣的方式隨著業務系統的增多，逐漸開始不適用。一是業務數據多樣化、數據未集中管理、有效利用數據難度大；數據存儲能力受限，無法追溯較遠的歷史數據。二是很多情況下，不同的產品經理和工程師所提的需求是不同的，而且這些不同的需求本身是交織在一起的。因此不同的團隊做出同樣的指標，由于數據指標定義不一致，存在意義相近重復指標的時候，管理層很難做出決策。三是分析和運營使用的數據渠道完全依賴于自身數據的監控，這會導致IT部門工作壓力較大。

除了以上反映的問題，公司在基于未來發展情況下又呈現了新一輪的現狀，并提出了以下需求：

l 業務的多元化發展，公司大量的并購導致集團數據量和數據需求爆發式增長；

l 數據網狀流通，基礎數據、數據指標缺少統一的元數據管理；

l 為了更好發掘數據價值，提升數據能力、構建標準化數據體系成為當務之急。

大數據平臺業務架構

集團的業務架構大體可以分為幾塊內容。第一個是數據模型師。主要的工作是做好元數據管理，數據模型的開發以及建立統一的數據標準。第二個是數據開發員，它會對接產品，然后去做一些業務開發。第三個是業務人員，業務人員是運營、銷售、市場人員，在這個地方做了很多可視化來幫助他們做出決策。最后是公司的數據分析部門，他們有很多對于審計包括公司一些非常核心的數據的分析需求，他們會通過獨立的數據查詢系統實現數據多維度分析。

下圖是技術架構，在底層進行數據存儲，抓取數據，并將存儲層的數據傳給處理層，在處理層完成業務計算，形成指標。然后前端通過帆軟報表的應用，將數據以業務報表的方式進行圖形化展示，并在移動報表APP上進行展示。

除去這個，我們還在管理上做了數據中心的建設規范。然后是數據質量管理，包括確保數據的準確性，為保證數據的及時性還建立了一個運行和管理規范。這四塊結合起來以保證平臺的平穩運行。

大數據可視化

數據可視化是這個平臺最后的一步也是應用范圍最廣的一步。這方面，由于我們

1、需求來源多：團隊需要同時對接財務部、銷售中心、客服中心、管理層等各級部門，且各個部門關注的指標千差萬別。

2、報表可視化方式多：需要通過明細表、匯總表、鉆取表以及各類圖表來分別滿足各個部門的不同管理職級的需求，還要給給需求方提供離線報表、實時報表、郵件&短信推送數據等多種渠道。

3、自定義開發多：為了對接公司內部的業務系統，需要經常自定義開發。

所以，需要一個滿足這些需求的可視化報表開發工具。