大數據分析的局限乃傳統統計學問題

大數據”已成為當今炙手可熱的科技，商務、醫療、社交、教育、政務等領域紛紛廣泛采用“大數據”技術去提升應用系統的智能及效率。

“大數據”分析之潛在問題

“大數據”的廣泛應用始于美國。自從美國總統奧巴馬2012年3月推出2億美元的“大數據研究及發展計劃”后，世界各大小經濟體陸續仿效，大力投資相關領域。全球資訊科技企業亦不敢怠慢，積極推出適合的大數據資訊科技方案及產品，更大灑金錢推廣大數據分析的優點及其所能帶來的商機。據觀察，近期不少從事金融、醫療、社會工作、工商業、政務等范疇主管都已被潛移默化，鼓吹“大數據”的功能及效益。然而，“大數據”真的是萬能的嗎？本文引用不同的國際專家報告，反映“大數據”分析之潛在問題。

首篇報告題為《谷歌流感的比喻：大數據分析的陷阱》("The Parable of Google Flu : Traps of Big DataAnalytics")，描述了谷歌公司曾利用“大數據”分析推算2011/2012年度美國流感的趨勢，但結果卻強差人意，估計的流感個案數目遠超過實際數目。而谷歌利用的數據是來自用戶使用的關鍵詞(如“禽流感”)次數及分布作推算分析。專家認為構成嚴重誤差的主要原因是谷歌盲目地廣泛收集關鍵詞，以為越多越好，卻沒有了解用戶查詢時的出發點，結果收集得的數據大部分來自非流感病患者，因此在數據采集階段已嚴重犯錯，自然推算失準。若數據分析全力集中在流感病患者，結果便會截然不同。

第二位專家是美國加州大學伯克利分校的國際知名學者米高佐敦(MichaelJordon)教授，他最近接受美國IEEE學會雜志訪問，在題為"Machine-LearningMaestro Michael Jordan on the Delusions of Big Data and Other Huge EngineeringEfforts" 一文中指出，“大數據”在現今商業市場被過分炒作，它最后可能只是一場空歡喜，教授更預測“大數據”的“冬天”即將來臨。他認為“大數據”用戶作出假設的速度將會超越大數據的統計范疇，在這情況下數據分析結果難免會出現錯誤，造成大量噪音，影響推算的可靠性。

從另一角度看，“大數據”用戶往往忽略數據的“動力”(dynamics)。例如在變幻無常的商務環境中，用戶的需求不停在變，那么昨天的“大數據”分析結果能有效地應用于今天的商務環境嗎？能夠滿足用戶今天的需求嗎？若然不能，我們需要重新進行分析，但昨天采集商務數據的方法能滿足用戶今天的新需求嗎？歸根究底，什么時候開始分析及什么時候停止既是統計學應用的老問題，亦是“大數據”分析必須嚴肅面對的問題，但在千變萬化的應用及數據環境下，要應對這個問題更是難上加難。因此佐敦教授進一步指出“大數據”分析服務提供者有責任清楚說明分析推算法的質量標準及其誤差度，做好用戶的“期望管理”(Expectation Management)。

“大數據”的十大局限

“前車可鑒”，因此用戶在使用“大數據”技術時不容掉以輕心，必須緊慎考慮它在操作上的“盲點”(局限性)。歸納而言，這些“盲點”大致是由于以下網絡數據的不健康特性而產生：

- 噪音性：網上數據泛濫，資訊內容五花八門，格式也參差不一。要從中過濾與應用需求無關的數據，既復雜亦耗時。

- 真實性：由于網絡資訊自由，即使在找出相關數據之后，內容的真假亦難以分別。例如去年在美國總統大選期間，在網絡媒體上謡言滿天飛，虛假新聞層出不窮，滲透全美每一角落；“教宗贊助特朗普”、“希拉里向伊斯蘭國（IS）販賣軍火”等假新聞在《臉書》上的分享及點評率遠比傳統紙媒為高。然而，“垃圾入，垃圾出”(Garbage In Garbage Out)，基于偽造資訊的“大數據”分析，難免會適得其反。

- 代表性：真實的數據并不一定具代表性。若然系統錯誤地使用了缺乏代表性的資料作分析的話，結果便會弄巧反拙。

- 完整性：利用非完整的數據進行分析，結果以偏概全，不盡不實，容易引致誤判。

- 時效性：某類數據在事件發生當刻可能大派用場，但當事件或時限過后，其影響力未必復再。若然過量的舊數據被用作分析，結果未能反映現況。再者，適時的數據往往因為比舊數據少而很容易被忽略。

- 解釋性：在“大數據”的分析過程中，基于輸入的數據，算法便會產生及輸出分析結果。在分析過程中，數據輸入如何產生輸出的理據及兩者的因果關系并不清晰，如黑箱作業。

- 預測性：世事變幻莫測，以前從未發生過的意外絶不罕見，但卻難以預料（分析出來）。因此，有專家認為“大數據”分析是規范的（prescriptive）而不具預測性（predictive）的功能。

- 誤導性：使用假資訊或錯誤分析算法均會影響結果的可靠性?！氨M信書則不如無書”，未經核實及驗證的分析結果可能會造成嚴重的反效果。

- 合法性：數據內容、采集方法及其使用過程極有可能涉及個人私隱、商業機密及公眾權益等資訊。因此，資訊的安全性和合法性對“大數據”應用十分之關鍵，可是不少企業只顧賺錢，而罔顧這些因素。

- 價值性：“大數據”不是免費的，企業切忌盲目跟風。數據本身、分析軟件等均所費不菲，因此成本效益的衡量是企業采用“大數據”的另一關鍵考慮點。