京東大數據平臺的技術創新_數據分析師培訓

當前，業界對大數據處理的技術方案幾乎已經形成一套通用的技術架構。然而，結合不同的行業及不同的實際業務需求，大數據平臺建設所用核心技術依然需要付出一定的研發投入來實現定向的技術突破與應用。京東大數據平臺搭建過程中，遵從“大處著眼，小處著手”的原則，在通用的開源技術架構基礎上進行定制開發和產品化，從技術和產品兩個層面實現微創新和突破性創新，打造堅實的平臺基礎。

技術微創新主要體現在平臺的基礎架構上，通過對Hadoop分布式技術的深入學習，緊密結合京東業務實踐，在本地化部署過程中實現多項創新：

1.支持多租戶間隊列資源動態調配；

2.開發自定義的HDFS存儲格式，及加密/解密和驗證框架；

3.開發Thirdnamenode，實現災備及異常操作監控；

4.針對HDFS，開發一套基于用戶，群組，角色的細粒度的權限控制管理系統；

5.針對Hadoop量身打造啄木鳥監控和優化平臺；

產品層面的突破性創新主要體現在大數據管理應用，包括：

1.自主研發面向復雜業務模型的海量數據生產調度管理平臺；

2.自主研發打通廣告點擊與頁面瀏覽的日志分析平臺，同時也支持實時反作弊和用戶模型研究；

3.免推送至關系型數據庫直接基于文件系統生成報表的前端展現平臺；

4.綜合多種開源技術全新打造的流式計算平臺；

5.自主算法的數據挖掘平臺；

6.融合多產品功能的移動應用；

在基礎架構方面，京東大數據平臺是基于云計算的動態彈性平臺，采用了Hadoop分布式計算技術，可做到快速的橫向擴展。平臺計算技術的實現分為離線計算模塊與實時計算模塊，基于海量數據查詢的計算正由離線逐步過渡到即時查詢，數據洞察的能力更加及時有效。

在軟件架構方面，基于Hadoop自主開發的大數據平臺，已為京東提供了高性能、高保障、高可用的通用服務，為京東數據科學家、數據分析師、數據挖掘工程師等提供了強有力的支撐，通過友好的交互設計和功能定制大幅降低了數據的消費門檻，讓數據應用更簡單、高效。

在業務模型方面，京東作為電商行業的領先者，擁有從流量、倉儲、采購、銷售、配送，售后、商品等全鏈路的超優質結構化電商數據。在業務模型的設計與開發方面，將傳統業務主題模型進行了全方面的優化與創新，讓電商主題模型更加清晰，開發更加高效。主題模型目前已經經受住了復雜的京東業務，尤其是在京東業務系統頻繁變更的今天，更是發揮著越來越重要的作用。

在人員配備與人才培養方面，京東復雜的業務對京東數據工程師要求更高，甚至苛刻。京東目前擁有多名數據科學家和近百名高級數據開發工程師。并通過“大數據平臺認證”項目，從分布式開發技術、HSQL優化、產品使用、業務模型四個方面進行專項技能培訓，保證了在技術與產品迅猛改進的同時，為京東培養了更多的非數據序列的員工，通過智能數據分析平臺，協助業務人員更有效地解決實際業務問題。目前大數據認證項目，已經為京東輸出了數百名合格的數據工程師和數據分析師。