采用大數據技術占領競爭高地

在Talend Connect大會上，一名IT業內分析專家指出，企業若不抓住大數據帶來的機會，將很有可能在同行中遭到淘汰。
    Jeff Kelly是Wikibon.org的首席研究員，也是SiliconANGLE的編輯。他說，諸如Hadoop和MapReduce這樣的大數據技術才剛剛起步；很多人由于技術有限或觀念陳舊，仍然將它們拒之門外。然而，在不久的將來，當軟件使用門檻變低大量企業開始采用的時候，這些今天已經采用了大數據技術的企業將再次占領高地。到那時，他們會具備更豐富的信息來進行決策，也會比其他企業賺到更多的錢。
    作為曾就職于TechTarget的記者，Kelly說：“我們已經研究大數據兩三年了，得到的結論就是，大數據是目前業內贏取競爭優勢最有力的武器。當我們得出這個結論時，我們意識到了它的轟動性。事實的確如此，我們實在想不出有哪一個行業不會受到大數據的影響?！?br />     “大數據”這個詞今天常在對機器生成的海量結構化與非結構化信息、社交媒體網站和移動設備的形容中用到。除此之外，它也用來形容可從信息中提取出有用商業洞察的存儲、管理和分析技術。比較熟知的大數據管理技術包括：Apache Hadoop分布式文件系統、MapReduce、Hive、Pig和Mahout.
    數據指向性的優勢
    在Talend Connect大會上大談決策制定流程中業務數據指向性問題的不止Kelly一人，Tony Fraser也是其中之一。Fraser是Ogilvy & Mather（一家大型公關廣告公司）旗下營銷公司Neo@Ogilvy的創立人之一，也是技術合伙人。
    Fraser說：“我們做的是數字廣告。只要你能想到的領域，我們都有涉及?！?br />     Fraser在發言中舉出實例，說明了數據指向性決策為他們公司成功帶來的幫助。其一是，巴黎酒店和拉斯維加斯賭場與Neo@Ogilvy合作，吸引更多的顧客。Neo@Ogilvy首先通過社交媒體和旅游網站針收集顧客對巴黎酒店的正面評價，發現大多數都與Bellagio酒店噴泉的景色和街道對面的賭場相關。根據這個信息，公司團隊投放了一期電子廣告，內容為噴泉旁的巴黎酒店。
    Fraser說：“廣告一投放出去，酒店的預定人數激增?！?br />    大數據運用的障礙
    Kelly稱，大數據管理技術的概念早已傳播到大街小巷，但為什么真正使用它的企業卻很少呢？主要有兩個原因。
    第一，Hadoop與其他大數據軟件的使用極其困難，而正確使用技能的培訓尚未出臺。目前，企業只有高薪聘請相關專業的博士才能對大數據方程式進行分析。
    Kelly說：“一個Oracle DBA不一定具備管理、部署與監控Hadoop的技能。比如，一個分析層面的數據工程師需要編寫MapReduce,而這樣的工作可與SQL查詢的編寫完全不同?！?br />     第二，目前大部分企業還缺少實施大數據的概念和計劃。
    現今的許多大型企業都已習慣于通過數據倉庫與BI報表技術來獲取業務信息。然而，Kelly認為，BI或數據倉庫模型是通過數據分析對過去進行評估，而大數據技術是通過數據分析對未來進行預測。
    他說：“對于這些企業來說，大數據運用需要一種觀念上的轉變；你需要信任數據并跟著它指的方向前進。大數據的意義就在于向前看、做出預測，然后行動?！?br />    大數據管理的普及
    Kelly認為，大數據管理和分析與其他新興技術無異，最終都會普及，或者說會變得大眾化。但是，這也需要一個過程。
    由于大數據技術的復雜度對很多剛剛接觸的企業都是不小的挑戰，所以這些新的應用工具和軟件技術需要被簡化。Talend、Hortonworks和Cloudera等公司目前都在簡化大數據技術的難度。Kelly說，大數據技術還需要很多革新，以讓用戶更簡單地進行部署和管理、對Hadoop集群進行防護并在流程與數據源之間創建集成。
    “現在你想成為一個頂級數據程序員，就必須具備編寫MapReduce、SAS或其他語言程序的復雜技術。所以，我們需要研發出可以剔除部分專業性的工具；這樣一來，即使你沒有博士學位，也可以編寫大數據程序了?！?br />    大數據的普及少不了對用戶的大量技能培訓，內容包括大數據架構、Hadoop部署管理、數據集成與MapReduce的編程等。
    Kelly說：“我們需要全面解決存在問題。一方面簡化工具與技術；另一方面加強人員的培訓，使DBA和業務分析師能夠勝任‘大數據時代’的工作?！?