機器學習和大數據：是先有雞還是先有蛋？

“對于機器學習，需要大量容易獲得的歷史數據。但是，如果你沒有這個數據會怎樣？”

現在，機器學習幾乎無處不在，它經常出現在大數據應用之中。機器學習已經被贊譽為大數據分析和商務智能發展的未來。但是從機器學習中提取價值并不僅僅是在一個新的工具中添加一個插件，或查看一下工作效率和銷量的提高。

成功的機器學習項目依賴于很多因素，包括選擇正確的主題，對于運行的環境，合理的機器學習模型，當然最重要的是現有的數據。

大數據時代，數據就是財富。我們不得不承認，關于客戶交易、銷售或設備運行日志的數據是企業所擁有的最寶貴的資產之一。特別是機器學習現在為企業提供的機會遠遠超越傳統的商業智能，比如可以幫助預測未來的銷售或潛在的設備故障，從而提高利潤和減少臨時的維修。

　數據，大還是小

在談論“大數據”時，我們習慣于假設越多越好。雖然現實中常常的確也是這樣，數據對于實時在線個性化應用是很關鍵的，但不同的任務對于數據大小的需求卻不盡相同。

對于機器學習任務來說，為了帶來價值，雖然10Gb的日志似乎有些少，但有時其實也可以剛好夠用，具體要看面對什么樣的任務。10Gb的數據對于Google來說也許微不足道，但實際上足以給一個傳統的線下企業帶來一個巨大的變化。

一個擁有75000人的大公司的人力資源管理部門。如果公司試圖預測流動風險，以便更好地規劃未來的人力資源戰略，并及時采取預防措施，那么他們就可以使用機器學習，而機器學習就可以從分析員工記錄開始。這些記錄每天都有巨大的不同，反映在工作的時間，角色的轉變，通過的培訓課程，休病假的天數，等等。雖然這種數據量可能被認為是過少，則深度地挖掘各種要素需要它超越簡單的統計，走向機器學習。

在另一個極端，有些公司可能認為他們擁大量的珍貴數據，如很多年的銷售報告，可以后來才發現，它們只可作為集成數據，而沒有存儲原始輸入。機器學習需要從細節中學習，僅僅擁有每季度或每年的集成數據對任務來說根本不夠。

因此需要數據的多少關鍵在于用戶所面對的具體任務。

　歷史的經驗教訓

通常數據集擁有一個時間跨度，而這個時間跨度是非常重要的，它應該足夠的長，以反映所有相關的事件以及周期性的變化。例如，如果一個組織要建立一個工作模型來預測一個零售公司的產品需求，這將至少需要兩到三年的歷史數據，這樣才能容納季節性的趨勢。但是，如果要預測昂貴的制造設備幾年才可能出現一次的故障，就需要有一個遠遠長的多的歷史數據，以便在故障出現之前檢測異常情況并預測故障的發生。

同時，如果你帶著巨大的客戶基礎和認購商業模型進入一個領域，例如移動電話網絡、流媒體業務或在線游戲，利用短短六個月的數據開始一個有意義的機器學習項目（例如，預測客戶的流失）是完全可行的。

通常情況下，數據的組織和存儲是一個公司基礎架構部門的關鍵任務，關系到公司的核心利益，如何選擇合適的存儲方案呢？是充斥著差異和錯誤的非結構化存儲，還是未集成的十幾個獨立系統。雖然引進數個單獨的存儲庫是擺脫數據孤島、提高數據質量的一種有效方式，但這個過程是漫長的，非常昂貴，而且不會帶來直接的價值。但是，如果引入機器學習，利用非結構化存儲依然可以幫助調整進一步的基礎設施投資以及引導數據收集策略，非結構化存儲目前是一種非常有效的數據組織和存儲方式。

數據還可以來自于其他什么地方？

很多企業忽略了一件很重要的事情，就是企業可以從外部環境中購買數據。

一方面，最強大和最重要的信號通常隱藏在該公司所擁有的數據中。因此，相比于銀行客戶的社交媒體行為，他們的交易中所蘊含的知識可以更好地預測客戶是否將償還貸款。

另一方面，許多公司低估了外部因素的價值，如氣候數據。它會對很多情況產生影響，如冰淇淋的需求，在需求不太明確的情況下，可以通過個性化推薦，將冰淇淋推薦給那些在天氣差時更可能留在家里玩游戲的網絡游戲玩家。

因此企業除了利用自己的數據之外，還可以有很多的選擇，例如社交網絡平臺，可以利用用戶的在社交網絡的足跡預測用戶的偏好，又或者季節性數據，利用季節性變化預測用戶的未來行為，等等。

機器學習正在很快地從一個很少人關注的技術主題轉變為被很多人使用的管理工具。為了避免錯失良機，企業現在需要開始設計自己的機器學習項目，以幫助他們為未來的機器學習做好準備。同時，企業需要理解哪些數據是可獲得的，缺少的和需要的，現在就可以開始收集它們，以幫助他們更快地獲得投資回報。