CDA數據分析研究院原創作品

一、大數據概念

大數據（big data），指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

二、大數據的特點

1）Volume（大量）：

截至目前，人類生產的所有印刷材料的數據量是200PB，而歷史上全人類總共說過的話的數據量大約是5EB。當前，典型個人計算機硬盤的容量為TB量級，而一些大企業的數據量已經接近EB量級。

2）Velocity（高速）：

這是大數據區分于傳統數據挖掘的最顯著特征。根據IDC的“數字宇宙”的報告，預計到2020年，全球數據使用量將達到35.2ZB。在如此海量的數據面前，處理數據的效率就是企業的生命。

天貓雙十一：2016年6分58秒，天貓交易額超過100億

3）Variety（多樣）：

這種類型的多樣性也讓數據被分為結構化數據和非結構化數據。相對于以往便于存儲的以數據庫/文本為主的結構化數據，非結構化數據越來越多，包括網絡日志、音頻、視頻、圖片、地理位置信息等，這些多類型的數據對數據的處理能力提出了更高要求。

訂單數據：

4）Value（低價值密度）：

價值密度的高低與數據總量的大小成反比。比如，在一天監控視頻中，我們只關心小偷偷盜的片刻，如何快速對有價值數據“提純”成為目前大數據背景下待解決的難題。

三 大數據應用

1）O2O：百度大數據+平臺通過先進的線上線下打通技術和客流分析能力，助力商家精細化運營，提升銷量。

2）零售：探索用戶價值，提供個性化服務解決方案；貫穿網絡與實體零售，攜手創造極致體驗。經典案例，子尿布+啤酒。

3）旅游：深度結合百度獨有大數據能力與旅游行業需求，共建旅游產業智慧管理、智慧服務和智慧營銷的未來。

4）商品廣告推薦：給用戶推薦訪問過的商品廣告類型

5） 房產：大數據全面助力房地產行業，打造精準投策與營銷，選出更合適的地，建造更合適的樓，賣給更合適的人。

6）保險：海量數據挖掘及風險預測，助力保險行業精準營銷，提升精細化定價能力。

7）金融：多維度體現用戶特征，幫助金融機構推薦優質客戶，防范欺詐風險。

8）移動聯通&移動聯通：根據用戶年齡、職業、消費情況，分析統計哪種套餐適合哪類人群。對市場人群精準定制。

9）人工智能

四 常用大數據分析技術

常見的大數據分析技術主要由以下幾部分構成：

分布式的文件系統存儲海量的非結構化數據（例如：hdfs等）

分布式的離線計算系統，對業務數據批量處理。（例如：mapreduce等）

分布式的實時計算系統，實時對業務數據進行處理（例如：sparkStreaming、storm、flink等）

分布式的結構化數據分析工具（例如：hive等）

分布式的數據庫（例如：hbase等）

完整的大數據平臺往往還要跟業務系統整合起來為用戶提供服務。