關于數據分析，管理者的四個常規錯誤

有關數據和數據分析的高談闊論比比皆是。不斷有人告誡各大公司要規劃恰當戰略來收集分析大數據，并警告不這么做可能帶來的不良后果。像《華爾街日報》近日就提到公司享有客戶數據這樣一個大寶藏，卻大都不知道該如何利用。本文將探討其中緣由。有公司嘗試從巨大的數據中獲取實際可用的信息，通過與他們合作，我們歸納了管理者在數據應用上的四個常規錯誤。

錯誤一：沒有理解融合的概念

阻礙大數據發揮價值的第一大挑戰就是兼容性和融合性。大數據的一個主要特點是其來源多樣。然而，如果數據形式不相同，或難以整合，則其來源的多樣性將使公司難以削減開支，也無法為客戶創造價值。例如，在我們和一個合作項目中，該公司擁有豐富的數據，記錄客戶的交易量和忠誠度，以及專門的在線瀏覽行為數據，但是鮮少交叉檢索這兩類數據來判斷某種瀏覽行為即為交易達成的前兆。面對這種挑戰，公司創建了“數據湖”來容納大量非結構性數據。但是，這些公司能夠加以利用的數據目前都顯得雜亂無章，只不過是一些以文本，也就是說，當這些數據只是普通的二進制數字時，要將它們井然有序地存儲起來非常困難。要將來源不同的它們整合起來更是難上加難。

錯誤二：沒有認識到非結構化數據的局限性

阻礙大數據發揮價值的第二大挑戰是其非結構化的特性。對文本數據的挖掘已經有了特別的進展，其語境和技術所帶來的認識與結構化數據類似，只是其它形式的數據如視頻仍不易于分析。舉個例子，雖然擁有最先進的人臉識別軟件，有關當局仍然無法從大量視頻中識別出波士頓馬拉松爆炸案中的兩名嫌疑人，因為該軟件尚在處理從不同角度拍攝的嫌疑人的照片。

雖然從非結構性數據獲取信息面臨挑戰，但是各公司在利用這些數據初步提升分析已有數據的速度和精確度上取得了顯著成績。比如，在石油和天然氣勘探中，人們就用大數據來優化正在進行的操作，以及針對地震鉆井的數據分析。盡管他們所使用的數據在速度、種類和體積上都有可能增加，最終這些數據還是用于同一個目的?？傊?，一開始就希望通過利用非結構性數據形成新的研究假設是站不住腳的，除非各公司通過“實踐”有了這種專業能力，能利用非結構性數據優化某個問題答案。

錯誤三：以為關聯分析意義重大

第三大挑戰——我們認為是阻礙大數據價值的最重要的影響因素——是觀測數據的大量重疊使其因果關系難以明確。大規模數據集往往包含眾多相似或完全一致的信息，直接導致錯誤的關聯分析，誤導管理者的決策。近日《經濟學人》指出“在大數據時代，相互關系往往是自己浮現出來的”，《斯隆管理評論》在博客中強調雖然很多公司都能接觸到大數據，但是這些數據并不“客觀”，因為問題在于要從中提煉出值得采取行動的信息。同樣，典型的用于分析數據的機器學習算法所進行的關聯分析并不一定會提供原因分析，因而不會給出可執行的管理意見。也就是說，讓大數據有利可圖的技巧在于能夠從僅僅觀測到相互關系轉變為正確鑒別何種關聯為因果形式，可以作為戰略舉措的基礎。要做到這一點就必須超越大數據。

谷歌趨勢是大數據的經典范例，它利用谷歌搜索詞條整合記錄。然而，它也說明了僅僅用于關聯分析的數據是毫無意義的。起初，研究人員稱數據可以用于反映流感的傳播。然而后來，研究人員發現因為數據體現的是過去，使用這些數據只能在現狀與過去模式相關的情況下，稍微改善應對行為。

舉個更具體的例子，假設一個鞋業銷售商向曾瀏覽其網站的消費者投放廣告。原始數據分析認為消費者看到這些廣告會更愿意購買鞋子?？墒?，這些消費者在看到廣告之前就已經對該銷售商表現出了興趣，因而比普通人更愿意進行交易。這個廣告有效嗎?很難說。實際上，這里的大數據并沒有考慮營銷傳播有效性的因果推論。要知道該廣告是否有效，銷售商需要進行隨機檢測或試驗，選取一部分消費者不接觸這個廣告。通過比較看了廣告和沒看廣告的消費者之間的購買率，公司才能確定是否看到廣告能讓消費者更愿意消費。這個案例中，價值主要不是通過數據創造的，而是通過設計、執行以及闡釋重要的試驗來創造的。

這是個試驗，不是分析觀測到的大數據集來幫助公司了解一段聯系到底是僅僅相關還是因為反應潛在的因果關系而變得可以賴以作出判斷。雖然對于管理者來說，哪怕僅利用記錄消費者行為一拍字節的數據來提升效益都很困難，但是比較參與了營銷活動的客戶和沒有參與的客戶——根據試驗結果——能夠讓營銷人員推論這個活動是否有利可圖。

開展實地試驗，得出正確的結論，采取恰當的應對措施，都不是輕而易舉的事。但是成功的公司已經有能力來設計、開展重要的實地試驗，并對其結果評估，采取針對性措施。正是這種“試驗加學習”的環境，以及對其能否加以推廣的理解和認識之上采取行動的能力，才讓大數據有價值。

只是，由于越來越多的數據樣本收益遞減，這樣的試驗并不一定需要大數據。比如：谷歌透露說其往往用有效數據的0.1%中的隨機樣本來進行數據分析。確實，近日刊登的一篇文章顯示大數據的大實際上是不利的，因為“數據庫越大，就越容易支持你提出的假設?！睋Q句話說，因為大數據提供重疊的信息，公司能從整個數據集，也能從其千分之一的數據集中獲取同樣的信息。

錯誤四：低估了勞動力技術需求

開展試驗不是公司從大數據推測有價值信息的唯一途徑。另一個可行的方法是公司可以培養算法技能，來更好的處理數據。推薦系統便是此類算法的一個范例。推薦系統通過針對關聯數據的算法向客戶推薦最相關的產品。只是，它不是依靠背后規模龐大的數據，而是依賴識別關鍵信息碎片來預測客戶偏好的能力。的確，往往不是數據的規模，而是計算機學習的算法來確定結果的質量。盡管預測能力可能增加可用數據的規模，但是在大多數情況中，預測的提升說明規模收益隨著數據集增加而遞減不過，要建立好的算法就需要好的數據分析師。一些公司以為不同聘請員工來分析數據中的因果聯系就能將大量的數據轉化為信息，他們可能要失望了。

數據本身是沒有價值的。只有與管理、構建和分析技能結合來，明確對其進行試驗和算法，才能對公司有用。當你把價格信息看做是對價格信息處理的技能時就清楚了。很多情況下，相對于數據成本，留住數據處理人才成本更高。這說明對于一個公司而言，數據處理能力比數據本身更重要。