大數據中數據挖掘技術的挑戰

首先，數據挖掘簡單的來說就是從一堆數據里面找有價值的東西?，F在數據也是資產，將來會有一個經營數據的公司。所以數據是新的石油，我們要從這里采礦，練成各種各樣有用的東西。所以誰擁有數據，誰就擁有未來，數據是企業未來的核心競爭力。
   大數據的一個特點是數據量大，它必須達到一個程度，大數據在2012年的時候已經有PB級了。 大數據的結構是非結構化的，我們很難用表格存起來的。而且這個不能進行形式化的數據占85%以上，目前用傳統方法只能分析15%的量。所以做大數據研究非常重要。另外就是數據密度低，比如視頻流，我就想看一個車怎么發生事故的，實際也就幾秒鐘，但是存量存了非常多，沒有用的占大多數，有用的只有那么幾秒鐘，所以價值的密度比較低，但是我們就要這一點，但是不能因為別的沒有價值就把它去掉，所以這對存儲提出了非常大的挑戰。

大數據分析的要求跟傳統的數據分析有很多不一樣。第一個大數據分析更注重有效性，而不是完整性。時效性的數據就是當下要做決定時候的數據，不需要分析得非常準確，但是要非?？?。不需要對原來十年的數據再加上今天的數據，否則的話你的效率非常低。另外要注重宏觀性而不是微觀性，我們要掌握數據隱藏的一些大的規律，十年的規律、五年的規律等等。

第二個是數據復雜，對于分析模型的建立提出了更多挑戰。Hadoop平臺是大數據分析的平臺，很多公司都在這個基礎上開發了自己的東西，來提供給其他的企業進行分析，包括客戶關系分析、用戶體驗的分析，但實際上如果大家都去這個平臺，有非常大安全性風險。所以用一個開放的平臺，安全性是非常緊迫的事。

第三個就是分析，大數據的噪聲非常多，去噪聲技術的要求更強烈。還有大數據的新型表示方法，還有大數據的存儲成本，大數據存儲要人維護，要人備份，要人檢查。還有半結構和結構化的高效處理。視頻怎么處理，圖片怎么處理，文本怎么處理，所以要精確的分析要依靠技術。

挑戰四就是數據動態增長，數據量太大，怎么樣對數據進行分布式的并行的處理?

挑戰五是大數據的可視化，讓不懂數據的人看得懂，要讓決策者們看得懂，這是要有很多的智慧的。而對大數據來說，得到的結果往往非常的復雜，非常的抽象，你要用圖形的方式表達出來讓大部分理解，并且用它來指導決策.這是五個我認為比較大的挑戰。
靈玖軟件全稱靈玖中科軟件（北京）有限公司專注于大數據搜索與挖掘的技術創新與服務，提供大數據搜索、大數據挖掘與大數據應用解決方案，以應對大數據的管理、處理、分析并從大數據中獲知識與智慧，將用戶的大數據困境轉變為大數據寶藏。靈玖軟件憑借15年的堅持，精耕細作，目前已服務于全球30萬家機構，成為大數據分析領域第一引擎。這個平臺從2000年開始，寫下第一組代碼到現在一起伴隨著互聯網走進大數據時代，現與各大知名互聯網公司，企業，單位，機構一起編制中國的互聯網中國夢。服務于消費者，服務于企業機構。為你提供大數據一站式解決方案，使數據能夠從不同的角度重新組織并獲得新的認識。

Hadoop、Spark、還有機器學習、統計、數據可視化、通用的編程語言、創造力和問題解決能力，每一個都非常重要，大數據的分析結果是用來決策的。

簡要的總結，大數據時代的到來引起了一場技術革命，將會影響我們生活的方方面面。我們無法逃避大數據時代。大數據時代的數據挖掘技術一定要順應大數據的新要求和變化。誰掌握了最核心的技術，誰最先引進最前進的技術，誰就將在大數據時代立于不敗之地。