小公司如何應對大數據

“大數據”已經成為互聯網上最熱門的概念之一，我看到許多創業者都開始談論大數據的商用價值，創業項目一定得和“大數據”掛鉤，有些人更是把《大數據時代》一書奉為圣經，仿佛只要買一本祭在家里的某個角落，自己就有資格高談論闊、指點江山了。但實際上，雖然書中洞見了數據分析的趨勢和隱憂，可由于作者Viktor Mayer Sch nberger是一個典型的學術派，并沒有什么值得稱耀的實踐經驗，導致此書缺乏落地感，大數據商業應用在沒有可靠技術支撐的狀況下也只能是一紙空談。
    不可否認的是，“大數據”確實擁有十分重要的價值，如今從傳統行業到互聯網行業的很多產品也需要依靠“大數據”來作為功能支撐和核心競爭力，借用阿里巴巴數據平臺與產品部數據倉庫架構師占超群（花名離哲）的概括，目前階段，大數據解決的主要問題分為3類：
   小公司如何應對大數據
    1. 拓展傳統的商業智能（BI）領域。以前針對大數據量的統計、關聯分析、趨勢預測由抽樣變成全量分析、將數據回流到各種報表。
    2. 業務流程改。對各種數據進行聚合分析，用來做業務流程改進和考核的依據。
    3. 數據商品和商業應用。通過對已有數據或數據處理能力進行服務化或產品化包裝，形成數據產品或數據服務。
    其中，我們在互聯網行業最常見的就是通過已有的數據來形成數據產品和數據服務，最典型的應用場景就是“個性化推薦”，但這并非是人人都可以染指的概念——我們知道，行業內依靠四個特征界定“大數據”：
    第一，Volume，體量巨大，PB級別；
    第二，Variety，數據類型繁多；
    第三，Veracity，價值密度低；
    第四，Velocity，處理速度快。簡而言之，需要從不同維度抓取海量數據并將其快速轉變為有序的可用信息。
    實際上，在中國互聯網，完全具備以上四點特征也只有騰訊、阿里巴巴、百度等較大型公司，對于一般公司而言，根本就不可能擁有PB級別的數據，也無法支撐高昂的數據存儲成本，而且大數據方面的技術人才十分稀缺。最近就有不少創業團隊告訴我他們產品的愿景，很多想法都十分新穎，但迫于數據處理能力，只好選擇“慢慢來”或者將產品功能閹割。那么，這類公司該如何在“大數據”浪潮中崛起呢？
    我首先想到的就是利用第三方的數據處理服務平臺，這是一項在海外已經比較成熟的業務，從字面不難理解，這些公司為那些沒有大數據和大數據處理能力的公司提供“數據”或“服務”。
    服務可以分為兩大類：基礎服務和個性化服務。
    基礎服務即幫助公司解決數據存儲、框架搭建和管理等大數據處理的基礎能力，這類公司的代表有Hadoop（分布式軟件框架）管理軟件與服務提供商Cloudera、非關系型數據庫MongoDB開發商 10gen等。
    另一類則直接幫助企業直接打造個性化解決方案，我認為這類公司更適合大部分從整體上就缺乏數據能力的中國的小型互聯網公司和希望互聯網化的傳統企業，譬如幫助電商提供個性化網上購物體驗的RichRelevance、個性化和數字市場營銷優化服務提供商Baynote、為廣告商提供數據和分析的eXelate，以及數據拍賣平臺BlueKai等。在國內，也有一些不錯的平臺開始涌現，例如個性化推薦引擎服務商百分點。利用這些第三方的服務和數據，可以讓小公司的產品也兼具優秀的個性化能力，融入大數據時代。
    但我認為，還有另一種應對大數據浪潮的做法——逆勢而為。我并不認為大數據是解決個性化的唯一方案，同是它還帶有相當強的局限性——基于數據意為著用數據建立模型，從某種意義上說，它也像是一個牢籠：設想一下，如果你所有的信息全部來自個性化推薦，那么你很可能錯失那些你從未接觸過的全新領域，而這些開放的、全新的信息不正是互聯網最迷人之處么？
    事實上，已經有些產品這么做了，唐茶計劃的李如一就曾表示，不會受數據干擾去決定出售/推薦哪一本電子書，而是完全基于他們的個人對內容的判斷，還有進來比較受關注的電臺Fuzz，完全由人工DJ來推送音樂。反過來想，如果同一類型的產品都具有精準的大數據處理能力，那么它們為用戶提供的內容也很可能是千篇一律的，而這些逆勢而為的產品，反而更像是真正的“個性化”服務。