大數據技術與應用案例詳解:獲取有價值信息

大數據技術與應用是人們值得關注的事情，因為它很有可能對你的生活帶來友好的改變。

大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據采集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）。

一、大數據采集技術

數據是指通過RFID射頻數據、傳感器數據、社交網絡交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化（或稱之為弱結構化）及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或采集、高速數據全映像等大數據收集技術；突破高速數據解析、轉換與裝載等大數據整合技術；設計質量評估模型，開發數據質量技術。

大數據采集一般分為大數據智能感知層：主要包括數據傳感體系、網絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術?；A支撐層：提供大數據服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數據的數據庫及物聯網絡資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化接口技術，大數據的網絡傳輸與壓縮技術，大數據隱私保護技術等。

二、大數據預處理技術

主要完成對已接收數據的辨析、抽取、清洗等操作。1）抽?。阂颢@取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便于處理的構型，以達到快速分析處理的目的。2）清洗：對于大數據，并不全是有價值的，有些數據并不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾“去噪”從而提取出有效數據。

三、大數據存儲及管理技術

大數據存儲與管理要用存儲器把采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統（DFS）、能效優化的存儲、計算融入存儲、大數據的去冗余及高效低成本的大數據存儲技術；突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術；突破大數據索引技術；突破大數據移動、備份、復制等技術；開發大數據可視化技術。

開發新型數據庫技術，數據庫分為關系型數據庫、非關系型數據庫以及數據庫緩存系統。其中，非關系型數據庫主要指的是NoSQL數據庫，分為：鍵值數據庫、列存數據庫、圖存數據庫以及文檔數據庫等類型。關系型數據庫包含了傳統關系數據庫系統以及NewSQL數據庫。

開發大數據安全技術。改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術；突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。

四、大數據分析及挖掘技術

大數據分析技術。改進已有數據挖掘和機器學習技術；開發數據網絡挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基于對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網絡行為分析、情感語義分析等面向領域的大數據挖掘技術。

數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等；根據挖掘對象可分為關系數據庫、面向對象數據庫、空間數據庫、時態數據庫、文本數據源、多媒體數據庫、異質數據庫、遺產數據庫以及環球網Web；根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網絡方法和數據庫方法。機器學習中，可細分為:歸納學習方法(決策樹、規則歸納等)、基于范例學習、遺傳算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網絡方法中，可細分為:前向神經網絡(BP算法等)、自組織神經網絡(自組織特征映射、競爭學習等)等。數據庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。

從挖掘任務和挖掘方法的角度，著重突破：1.可視化分析。數據可視化無論對于普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。2.數據挖掘算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的算法讓我們精煉數據，挖掘價值。這些算法一定要能夠應付大數據的量，同時還具有很高的處理速度。3.預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。4.語義引擎。語義引擎需要設計到有足夠的人工智能以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。5.數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標準化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。

六、大數據展現與應用技術

大數據技術能夠將隱藏于海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用于以下三大領域：商業智能、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務云應用系統（道路監控、視頻監控、網絡監控、智能交通、反電信詐騙、指揮調度等公安信息系統），大規?；蛐蛄蟹治霰葘夹g，Web信息挖掘技術，多媒體數據并行化處理技術，影視制作渲染技術，其他各種行業的云計算和海量數據處理應用技術等。

　　大數據應用的九個領域

大數據應用在生活中可以幫助我們獲取到有用的價值。

隨著大數據的應用越來越廣泛，應用的行業也越來越低，我們每日都可以看到大數據的一些新穎的應用，從而幫助人們從中獲取到真正有用的價值。許多組織或者個人都會受到大數據的剖析影響，但是大數據是怎樣幫助人們挖掘出有價值的信息呢?下面就讓我們一起來看看九個價值極度高的大數據的應用，這些都是大數據在剖析應用上的關鍵領域：

1.理解客戶、滿足客戶服務需求

大數據的應用現在在這領域是最廣為人知的。重點是怎樣應用大數據更好的了解客戶以及他們的喜好和行為。企業極度喜歡搜集社交方面的數據、瀏覽器的日志、剖析出文本和傳感器的數據，為了更加全面的了解客戶。在通常情況下，創建出數據模型進行預測。好比美國的著名零售商Target就是通過大數據的剖析，獲得有價值的信息，精準得預測到客戶在什么時間想要小孩。另外，通過大數據的應用，電信公司可以更好預測出流失的客戶，沃爾瑪則更加精準的預測哪個產品會大賣，汽車保險行業會了解客戶的需求和駕駛水平，政府也能了解到選民的偏好。

2.業務流程優化

大數據也更多的幫助業務流程的優化?？梢酝ㄟ^利用社交媒體數據、網絡搜索以及天氣預告挖掘出有價值的數據，其中大數據的應用最廣泛的就是供應鏈以及配送路線的優化。在這2個方面，地理定位和無線電頻率的識別追蹤貨物和送貨車，利用實時交通路線數據制訂更加優化的路線。人力資源業務也通過大數據的剖析來進行改良，這其中就包括了人才招聘的優化。

3.大數據正在改善我們的生活

大數據不但單只是應用于企業和政府，同樣也適用我們生活當中的每個人。我們可以利用穿著的裝備(如智能手表或者智能手環)生成最新的數據，這讓我們可以憑據我們熱量的消耗以及睡眠模式來進行追蹤。而且還利用利用大數據剖析來尋找屬于我們的愛情，大多數時間交友網站就是大數據應用工具來幫助需要的人匹配合適的對象。

4.提高醫療和研發

大數據剖析應用的計算能力可以讓我們能夠在幾分鐘內就可以解碼整個DNA。而且讓我們可以制訂出最新的治療方案。同時可以更好的去理解和預測疾病。就好像人們戴上智能手表等可以形成的數據一樣，大數據同樣可以幫助病人對于病情進行更好的治療。大數據技術現在已經在醫院應用監視早產嬰兒和患病嬰兒的情況，通過記錄和剖析嬰兒的心跳，醫生針對嬰兒的身體可能會出現不適癥狀做出預測。這樣可以幫助醫生更好的救助嬰兒。

5.提高體育成績

現在許多運發動在訓練的時間應用大數據剖析技術了。好比例如用于網球鼻塞的IBM SlamTracker工具，我們使用視頻剖析來追蹤足球或棒球比賽中每個球員的表現，而運動器材中的傳感器技術(例如籃球或高爾夫俱樂部)讓我們可以獲得對比賽的數據以及怎樣改良。許多精英運動隊還追蹤比賽環境外運發動的活動-通過使用智能技術來追蹤其營養情況以及睡眠，以及社交對話來監控其情感情況。

6.優化機器和設備性能

大數據剖析還可以讓積極和設備在應用上更加智能化和自主化。例如，大數據工具曾經就被谷歌公司利用研發谷歌自駕汽車。豐田的普瑞就配有相機、GPS以及傳感器，在交通上能夠安全的駕駛，不需要人類的敢于。大數據工具還可以應用優化智能電話。

7.改善安全和執法

大數據現在已經廣泛應用到安全執法的過程當中。想必大師都知道美國安全局利用大數據進行恐怖主義打擊，甚至監控人們的日常生活。而企業則應用大數據技術進行防御網絡攻擊。警察應用大數據工具進行捕捉罪犯，信用卡公司應用大數據工具來檻車敲詐性買賣。

8.改善我們的城市

大數據還被應用改善我們日常生活的城市。例如基于城市實時交通訊息、利用社交網絡和天氣數據來優化最新的交通情況?，F在許多城市都在進行大數據的剖析和試點。

9.金融買賣

大數據在金融行業主要是應用金融買賣。高頻買賣(HFT)是大數據應用比較多的領域。其中大數據算法應用于買賣決議?，F在許多股權的買賣都是利用大數據算法進行，這些算法現在越來越多的考慮了社交媒體和網站新聞來決議在未來幾秒內是買出還是賣出。

以上九個是大數據應用最多的九個領域，當然隨著大數據的應用越來越普及，另有許多新的大數據的應用領域，以及新的大數據應用。

　　大數據應用的八個典型案例

什么是大數據？不要再舉例說啤酒和尿布的例子了，Gartner的分析師Doug Laney在講解大數據案例時提到過8個更有新意更典型的案例，可幫助更清晰的理解大數據時代的到來。

1. 梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基于SAS的系統對多達7300萬種貨品進行實時調價。

2. Tipp24 AG針對歐洲博彩業構建的下注和預測平臺。該公司用KXEN軟件來分析數十億計的交易以及客戶的特性，然后通過預測模型對特定用戶進行動態的營銷活動。這項舉措減少了90%的預測模型構建時間。SAP公司正在試圖收購KXEN。

3. 沃爾瑪的搜索。這家零售業寡頭為其網站Walmart.com自行設計了最新的搜索引擎Polaris，利用語義數據進行文本分析、機器學習和同義詞挖掘等。根據沃爾瑪的說法，語義搜索技術的運用使得在線購物的完成率提升了10%到15%?！皩ξ譅柆攣碚f，這就意味著數十億美元的金額?！盠aney說。

4. 快餐業的視頻分析。該公司通過視頻分析等候隊列的長度，然后自動變化電子菜單顯示的內容。如果隊列較長，則顯示可以快速供給的食物;如果隊列較短，則顯示那些利潤較高但準備時間相對長的食品。

5. Morton牛排店的品牌認知。當一位顧客開玩笑地通過推特向這家位于芝加哥的牛排連鎖店訂餐送到紐約Newark機場（他將在一天工作之后抵達該處）時，Morton就開始了自己的社交秀。首先，分析推特數據，發現該顧客是本店的?？?，也是推特的常用者。根據客戶以往的訂單，推測出其所乘的航班，然后派出一位身著燕尾服的侍者為客戶提供晚餐。

6. PredPol Inc.。PredPol公司通過與洛杉磯和圣克魯斯的警方以及一群研究人員合作，基于地震預測算法的變體和犯罪數據來預測犯罪發生的幾率，可以精確到500平方英尺的范圍內。在洛杉磯運用該算法的地區，盜竊罪和暴力犯罪分布下降了33%和21%。

7. Tesco PLC（特易購）和運營效率。這家超市連鎖在其數據倉庫中收集了700萬部冰箱的數據。通過對這些數據的分析，進行更全面的監控并進行主動的維修以降低整體能耗。

8. American Express（美國運通，AmEx）和商業智能。以往，AmEx只能實現事后諸葛式的報告和滯后的預測?！皞鹘y的BI已經無法滿足業務發展的需要?！盠aney認為。于是，AmEx開始構建真正能夠預測忠誠度的模型，基于歷史交易數據，用115個變量來進行分析預測。該公司表示，對于澳大利亞將于之后四個月中流失的客戶，已經能夠識別出其中的24%。

大數據技術與應用可能在未來發揮它更大的作用，我們拭目以待！