大數據下的用戶行為分析

1. Consumer behaviour is the study of when，why，how and where people do or don't buy a product。
用戶行為一般指用戶通過中間資源，購買、使用和評價某種產品的記錄。同時輔以用戶、資源、產品自身及環境的信息。
用戶行為記錄一般可以表示一組屬性的集合：｛屬性1，屬性2，...，屬性N｝

2. 用戶行為分析主要是研究對象用戶的行為。數據來源包括用戶的日志信息、用戶主體信息和外界環境信息。通過特定的工具對用戶在互聯網/移動互聯網上的行為進行記錄，記錄的信息通常稱為用戶日志。
數據內容：
（1）網站日志：用戶在訪問某個目標網站時，網站記錄的用戶相關行為信息；
（2）搜索引擎日志：搜索引擎日志系統所記錄的用戶在搜索引擎上的相關行為信息；
（3）用戶瀏覽日志：通過特定的工具和途徑記錄用戶所記錄的用戶在該搜索引擎上的相關行為信息；
（4）用戶主體數據：如用戶群的年齡、受教育程度、興趣愛好等；
（5）外界環境數據：如移動互聯網流量、手機上網用戶增長、自費套餐等；
數據特點：
（1）大數據量/海量數據，big data；
（2）實時分析/準實時分析、離線分析；
（3）由于用戶日志包含大量用戶個人信息，為避免涉及過多的用戶隱私，日志工具通常對用戶個人信息進行加密，不涉及具體用戶行為的細節內容，保護用戶隱私；
（4）日志信息通常含有較多的噪音，因此，基于個人行為信息分析得到的結論常常存在著很大的不可靠性。
3. 用戶行為分析平臺主要面臨海量數據處理困難、分析模型算法復雜、建設和運營成本高昂等方面的技術難點和挑戰。
海量數據處理困難：
（1）問題：面臨TB甚至PB級的海量數據，傳統關系數據庫存儲尚可，但對OLAP分析效仿低下；
（2）難點：如何可實現可擴展的數據存儲、靈活快捷的數據訪問？
（3）思路：利用Nosql數據庫解決大數據存儲，通過水平擴展讀寫負載提高訪問性能；
分析模型算法復雜：
（1）問題：分析需要運用預警預測、聚類、協同過濾等數據挖掘算法，算法的編程復雜度和計算復雜度都非常大；
（2）難點：如何實現分析模型，并提供實時高速的復雜分析；
（3）思路：改造開源的數據挖掘模型庫，并運用Hadoop等并行計算框架；
建設和運維成本高昂：
（1）問題：傳統數據庫和分析軟件進行海量數據分析將導致天價的軟件授權許可費用；外部數據分析服務同樣價格昂貴，并且面臨安全性和靈活性局限；
（2）難點：如何低成本高效率的建設和運維系統？
（3）思路：基于可靠的開源解決方案構建獨立自主經濟靈活的分析平臺。
4. Hadoop是基于Google有關大數據的論文實現的開源項目，最初的框架由Doug Cutting在2005年提出，目前是由Apache維護的開源項目。從最初到現在，Hadoop系統在7年中開發完成了一系列重要的子項目，已經形成了一個涵蓋數據存儲、管理和分析功能的較為完整的大數據生態系統，成為大數據存儲與處理領域地位最重要、應用最廣泛的開源框架。
核心組件：
（1）MapReduce：
· Hadoop的分析式并行處理框架；
· 實現對HDFS上海量數據的批量分析；
（2）HDFS：
· Hadoop的一個分布式文件系統；
· 高容錯性，部署在低廉商業硬件；
· 提供高吞吐量，適合批量處理；
Hadoop是運行在大量通常計算單位上提供海量數據存儲與并行計算的平臺框架：
· 基于x86集群水平可擴展；
· 基于MapReduce的并行計算能力；
· 設計規模：PB級的數據量，數千臺計算節點；
5. Hadoop的優勢：
（1）高可靠性：
· 按位存儲和處理數據的能力值得信賴；
（2）高擴展性：
· 可以管理數以千計的存儲和計算節點；
（3）高性能：
· 實現數千計算節點的并行計算；
（4）高容錯性：
· 自動備份和自動失敗任務重起；
Hadoop的不足：
（1）性能可優化：
· 與硬件的理論性能存在差距，具有優化空間；
（2）可擴展性和可靠性：
· 受單一Namenode，單一Jobtracker的設計嚴重制約，存在明顯的單點故障源；
· 單一的Namenode的內容容量和性能有限，使得Hadoop集群的節點數量被限制到2000個左右，能支持的文件系統被限制在10-50PB，最多支持的文件數量大約為1.5億；
（3）欠缺各種企業特性：
· 企業的個性化需求、定制化開發和可靠的運營維護服務；
企業版Hadoop改進主要方向：
（1）消除單點故障制約；
（2）改進MapReduce；
（3）完善數據管理和數據源整合；
（4）鏡像、快照等容災能力；
（5）可靠的服務支持；
6. 數據挖掘算法的編程復雜度和計算復雜度都非常大，往往稱為制約分析項目按期完成的瓶頸，精細化運營分析平臺利用支持Hadoop并行計算框架的開源數據挖掘模型數據庫Mahout，實現了數據挖掘算法的快速實施和高效表現?；谶@些經驗，未來我們將研究整合其他的開源算法庫（如Weka和R等），以及商業算法庫，以保證分析的精確性和性能。
利用Mahout的聚類和協同過濾算法庫的實現價值評估分析和智能推薦引擎。

7. 用戶行為分析平臺建立了大量的分析主題，分析結果的呈現能力對平臺的應用效能影響重大。利用研制管理決策支持系統的經驗，我們可以提供靈活可制定的報表編制和數據展現方式，并建立了主動推送和移動跨平臺訪問結合的數據訪問能力，提高分析材料的生成和呈現速度。