大數據與數據挖掘的概念及相互聯系

當“大數據”鋪天蓋地般向我們涌來，人們往往期冀能夠對大數據能夠有更進一步的了解，“數據挖掘”因此成為我們理解大數據概念繞不過去的“坎”。通過將大數據與數據挖掘進行對比分析，將有助于人們了解大數據的來龍去脈和未來真實走向。 
　　1.基本概念 
　　數據挖掘，顧名思義就是從大量的數據中挖掘出有用的信息，即從大量的、不完全的、有噪聲的、隨機的、模糊的數據中，提取隱含其中的、規律性的、人們事先未知的、但又是潛在的有用信息和知識的過程。數據挖掘是一個在海量數據中利用各種分析工具發現模型與數據間關系的過程，它可以幫助決策者尋找數據間潛在的某種關聯，發現被隱藏的、被忽略的因素，因而被認為是在這個數據爆炸時代解決信息貧乏問題的一種有效方法。數據挖掘作為一門交叉學科，融合了數據庫、人工智能、統計學、機器學習等多領域的理論與技術。數據庫、人工智能與數理統計為數據挖掘的研究提供了三大技術支持。 
　　大數據是通過高速捕捉、發現和分析，從大容量數據中獲取價值的一種新的技術架構。著名研究機構IDC給大數據的定義，有四個"V"字開頭的特征：Volume（體量大），Velocity（速度快），Variety（種類雜），Value（價值大）。Volume是指大數據巨大的數據量與數據完整性?Velocity可以理解為更快地滿足實時性需求；Variety則意味著要在海量、種類繁多的數據間發現其內在關聯；Value最重要，它是大數據的最終意義：挖掘數據存在的價值。 
　　2.相互聯系 
　　大數據是數據挖掘的概念再升級。相比于興起只有2～3年的大數據概念，已有20多年發展的數據挖掘可稱得上大數據的開山鼻祖。因為大數據和數據挖掘的本質是相同的――對數據進行挖掘分析，以發現有價值的信息。而且大數據的興起，正是在人工智能、機器學習和數據挖掘等技術基礎之上發展起來的，而人工智能、機器學習又是在為數據挖掘服務。從表面上看，大數據與數據挖掘的顯著區別在于“大”上。然而深入分析就會發現：一方面，數據挖掘的對象不僅可以用于少量的數據，而且同樣適用于海量數據，只是由于挖掘方法和技術工具的不斷升級換代，換了個新的名稱而已；另一方面，大數據的本質不在于“大”，而是以嶄新的思維和技術去分析海量數據，揭示其中隱藏的人類行為等模式，由此創造新產品和服務，或是預測未來趨勢。所以大數據和數據挖掘的概念在一定時期還會并存，因應于使用的時機、場合或使用人的習慣，真正的關鍵點是如何體現出數據的價值。 
　　大數據是數據挖掘產業化的表現。長久以來，數據挖掘的經典案例――“啤酒與尿布”被廣為傳頌，然而這一傳奇故事顯然跟不上時代大發展的步伐，取而代之的是谷歌成功預測流感的案例。數據的價值在于信息，而技術的價值在于利潤，數據挖掘可以看作是專業技術領域的專業名詞，到了商業領域就需要進一步的包裝與升級。只有這樣，一系列的開放式平臺、技術解決方案才能迅速“火”起來。顯而易見，這種商業的運作模式已經非常成熟和成功。目前，大數據已被視為創新和生產力提升的下一個前沿，正成為國家競爭力的要素之一，在世界范圍內日益受到重視，多國政府加大了對大數據發展的扶持力度，甚至上升到國家戰略的高度。某咨詢公司研究顯示，全球對大數據項目投資總額2012年已達45億歐元（約60億美元），2013、2014兩年均會保持約40%的增長速度。 
　　3.簡要小結 
　　當前，數據挖掘在專業領域的地位已經非常牢固，但大數據還受到民眾和業界的諸多質疑，認為是一種商業噱頭和忽悠。其實很多爭論實質上并非在討論同一問題。比如，有人舉例說，《大數據時代》的作者維克托?邁爾―舍恩伯格認為 ， “人們處理的數據從樣本數據變成全部數據”的結論至少從目前的數據收集和分析能力來說是不可能實現的。我們應該看到，沒有不變的真理，只有客觀規律。任何技術都不是萬能的，作為一種技術而言，它僅代表了一種發展方向，它因為能夠解決某一現實問題而具備存在的價值；至于技術的商業化運用成不成功，則還受制于運用推廣的方式等其它諸多因素。例如，對比上世紀末“互聯網經濟泡沫”破滅時的哀鴻遍野和前不久阿里巴巴在美國上市的一片贊歌，可以看出：互聯網技術的發展勢不可擋，互聯網產業發展一波三折，只能說產業和技術緊密相聯，但終究不是一回事。