助力精細營銷 電信行業大數據分析詳解

移動互聯網時代的來臨，給人們的生活和娛樂方式帶來了天翻地覆的變化，尤其是3G網絡的出現，使得人們已經突破了時間和空間的限制，隨時隨地都可與他人交流溝通。這一全新事物的迅猛發展，給電信運營商帶來許多商機，同時也出現了一些挑戰。例如隨著移動互聯網的普及，用戶移動數據流量迅猛增長，數據流量收入已經超過了點對點短信業務，成為拉動數據業務收入增長的主要驅動力。

　　如何應對大商機下的大挑戰

盡管新的商業凸顯，但挑戰也應運而生。如在3G全業務市場競爭環境下，電信運營商急需根據競爭情況和用戶需求，加快實現流量的實時計費和提醒，優化數據流量資費體系，降低資費水平差距，提高精細化營銷能力，不斷提高客戶滿意度并降低流量投訴等等。而這一切都催生了對流量大數據分析的需求，大數據依賴于成熟的技術方案，但從目前看來，運營商現有的系統架構并不能很好地滿足這些需求。

從電信運營商的整體系統架構來看，其主要面臨四個方面的挑戰：

首先，傳統電信運營商的系統建設分散，很難實現資源和應用共享。諸如經營分析、信令監測、綜合網絡分析、不良信息監測以及上網日志留存等大數據系統垂直建設較多。同時，很多省分公司的系統建設存在重復建設、應用重復開發、各類專家資源無法共享等情況。

其次，則是數據分散存儲，標準化程度低。要對電信行業的流量大數據進行分析，就必須實現數據的集中存儲，并有統一的標準。但從目前來看，各級電信運營商各大數據系統的數據模型并未統一，跨系統綜合分析較為困難，在原有基礎之上實現統一管理的難度較高。

再者，以OLTP為核心的傳統架構難以滿足新業務發展要求。電信運營商IT架構較為傳統的做法是采用高端架構建設(類IOE)，成本極高。并且，其僅具備良好的結構化數據處理能力，在飛速增長的非結構化、半結構化數據處理方面顯得心有余而力不足。除此之外，傳統的IT架構在高速增長的數據背景之下，很難滿足其存儲需求。

除了上述之外，目前電信運營商的大部分業務都只對內提供服務，未能有效地進行成規模商業利用。如何建立商業模式?如何解決用戶隱私保護問題?這是各大電信運營商都需要深思的問題。

面對上述難題與挑戰，并結合電信運營商現有業務，曙光存儲提出了針對電信運營商大數據管理總體系統框架模型，其主要分為四層，即物理層、數據層、模型層和應用層。其中數據層是整個運營商大數據管理的核心部分，為上層應用提供數據支持。具體如下圖所示：

那么其在實際環境中的表現是怎么的呢?下面我們來看看河南移動大數據平臺的案例。

河南移動Hadoop平臺案例分享

作為省級電信運營商，河南移動也需要滿足前文所提到的優化資費體系、提高精細化營銷、提升用戶體驗等需求。因此，為了推進全網數據流量的精細化經營，提升數據流量經營效益，河南移動與曙光公司合作進行了經分系統流量運營分析工程的建設。

該平臺首先用于經分業務，基于平臺來提高數據處理速度，為公司業務開展提供數據支撐。除此之外，該平臺還用于處理每月賬單。以現有傳統Oracle數據庫集群 + 小型機 + 高端FC磁盤陣列的模式，暫時能夠保證每月1日按時提供用戶賬單，但以每年15%的數據增長量，用戶估計一年后就難以滿足需要，因此需要搭建一個處理能力更強，擴展性更高的平臺來替代現有系統。

根據河南移動提出的需求，曙光公司依據在分布式計算領域多年的積累和研究提出了基于IB網的Hadoop分布式計算平臺的方案。具體如下圖所示：

在這一項目建設之中，其采用150臺A620r-G雙路服務器構建Hadoop平臺，100臺A840r-G四路服務器構建數據庫處理平臺，全系統以Infiniband網絡互聯，系統平臺的IB網絡設計中，所有的網絡設備的連接均采用冗余設計。

這一設計方案的好處在于，每臺服務器配置兩個IB端口，IB端口通過冗余綁定方式分別與兩臺不同的匯聚交換機相連;此外通過高度冗余的三臺二層交換機將所有匯聚交換機連接為統一的子網，最大限度的提高系統的冗余度和節點間通信帶寬限制;兩個IB網關設備底層各自與兩臺二層交換機相連，上層分別與一臺路由器連接，上層的兩臺路由器通過VRRP技術實現IB網關的冗余連接，保證當任意一臺網關或路由設備出現故障時，底層服務器均有鏈路連接到上層網絡。

通過上述方案，該系統實現了Ethernet、Fibre channel、Infiniband三網融合，最大可能的滿足Hadoop集群和數據庫處理平臺的高速通訊的需要。

這僅僅是曙光公司面向大數據處理與分析的一個較為典型的案例而已，實際上，針對電信行業的需求與挑戰，曙光公司提出了各種有針對性的解決方案，下面我們就來一下在電信行業較為典型的話費詳單查詢系統解決方案和電信流量業務DPI系統解決方案。

迎難而上 曙光電信行業解決方案一覽

　　話費詳單查詢系統解決方案

隨著科技與生活水平的提高，手機已經成為現代人必不可少的通訊工具之一。面對上千萬甚至上億用戶所產生的海量數據信息，如何在最短時間內精準定位數據，并返回正確的查詢結果，這是電信運營商最為迫切需要解決的問題。

針對話費詳單公眾查詢查詢業務，系統設計上要滿足海量歷史數據的獲取和存儲，同時也要滿足大并發量的查詢和檢索。針對海量詳單查詢系統的架構設計如下：

這一系統的特點在于，將查詢數據和生產去耦合，生產數據中轉之后再進行處理。再借助曙光XData大數據處理平臺，實現數據的高效導入、查詢及處理。面對海量數據的增長，這一大數據處理平臺的線性擴展架構，能夠面對數據量增加和查詢量增加而輕松擴展。

　　電信流量業務DPI系統解決方案

移動智能終端的大肆興起，使得數據業務迅猛增長，在帶來收入的同時，也產生了諸多的難題。例如用戶感知差，P2P濫用基站資源的有限帶寬資源，高峰時段用戶感知差，基站維護和增建，網絡優化缺少依據。安全威脅多，黃色、暴力、反動等不良內容充斥網絡 ，被黑客控制的僵尸網絡主機?？焖俾?，安全隱患嚴重 ，DDoS攻擊手段日新月異，攻擊行為泛濫且難于防范。

同時，電信運營商的運維管理能力也遭遇巨大挑戰，疲于應付各種事件和問題，各個系統無規則迭加部署，眾多的離散系統，無法統一管理，網絡的可用性和可維護性面臨挑戰。迫切需要統一的系統對網絡應用監管，實現業務的保值到增值。針對這些難題，曙光構建了基于大數據理念的電信流量業務DPI系統解決方案，具體架構如下：

這一方案的特點在于，其采用高速設備直接從骨干網絡抓取數據，而曙光XData大數據平臺能夠應對大規模流量做近實時的分析，并感知整個網絡狀態，優化網絡運行。在應對海量數據處理、并發方面，大數據平臺幣傳統的關系型數據平臺更加適合DPI業務處理。

　　結語

電信行業當前面臨的數據挑戰和新業務運營的壓力，曙光大數據解決方案能夠充分發揮出數據的價值，在流量深度感知，新業務開發，傳統業務增強方面，具有高性價比，易于管理和擴展等特性，效果顯著，為運營商在移動互聯網時代快速發展增加引擎動力。