大數據戰略、管理與生態

大數據這個話題，從西到東，從IT業內到政府官員，已經火了兩年，但還沒有完全一致的定義。目前業界一般認同Gartner的描述，即：凡是具有“3V”特性的數據集，就是大數據。其一為Volume，極大的數據量；其二為Variety，極復雜的數據類型與數據來源；其三為VelocITy，極高的數據產生、傳播，以及反應速度。

    在我看來，組織決策者要跨越大數據時代的“數據鴻溝”，就需要具備大數據戰略、大數據管理和大數據生態三大能力。
   大數據戰略：視野，觀點，價值
   大數據的價值已經為電商、快消、廣告等多個行業的案例所證明，但挖掘出大數據的價值并不容易。我認為，企業決策者在制定大數據戰略時，需要從Vision（視野）、View（觀點）、Value（價值）這“新3V”入手。
    第一點從視野講，企業CEO一定要把大數據、云計算作為企業核心戰略，而不能僅僅把大數據當成是企業IT管理的一個方面。要下決心投入，無論軟件方面還是硬件設施。
    第二是要有企業自己的觀點，即收集和處理數據的策略。例如股市，大家很多時候面對同樣的數據，但是對數據的處理方式是不一樣的，有些人說股市下行時候投入，有些人說股市下行時候要撤出。對同樣的數據，甚至同樣的軟件，決策方式、觀點不一樣，處理結果就會大大不同，這個應該成為公司決策體系的一個核心。
    第三是價值，要在確定思路后，把對數據的分析，轉化為能解決實際問題的執行，從而實現大數據的價值。正如馬云最近所舉的例子，在淘寶上比基尼賣得最好的省份是哪兒？是內蒙古和新疆，而不是人們通常會認為的海南、廣東等沿海地區。大數據能幫助人們發現事物間隱藏的內在關聯，但并不意味著能直接帶來社會和商業價值。如果你是泳衣、防曬霜的生產商，又會制定怎樣的營銷策略呢？
   大數據管理：簡易、開放、靈活
   大數據戰略重要，但更重要的是如何執行，也就是大數據管理問題。也可以通過三步走的方式來解決。首先是如何獲取、存儲和保護數據；其二是數據豐富，即如何清洗、發現不同數據間的數據相關性；其三是數據洞察力，即通過分析、呈現與決策工具獲得洞察力，并最終通過付諸行動，產生價值。
    微軟的大數據管理平臺，有著對大數據生命周期的全方位考慮，這也是為什么我們將Hadoop等開源架構，整合到微軟的大數據平臺里，一方面是將Hadoop作為對非關系型數據處理的補充；另一方面是將Hadoop作為一個服務，整合到微軟的公有云與私有云平臺中。值得強調的是，微軟不是簡單地將Hadoop遷移到微軟的大數據平臺上，而是真正的融合，會系統地考慮其可用性、可靠性、安全性、部署的簡易性與靈活性，乃至對Hadoop上工具的集成與優化。與此同時，微軟也會堅持開源的原則，將在Hadoop上做的一些研發工作回饋給社區，與社區形成良性互動。
   大數據生態：平臺商、數據商、開發者、數據玩家
    未來的大數據生態，同樣會遵循最樸素的市場規則，不同角色的組織和個人，通過逐漸成熟的交換機制，各取所需——平臺商提供數據交易、數據分析的場所和基本工具。
    原始數據商提供自由交易的數據集；開發者提供基于數據集的應用和服務，以及定制化的分析和呈現工具；數據玩家如同股民，在市場中尋找值得投資的數據集或者機構進行投資，獲得回報；現在人們炒房、炒股、炒黃金，將來或許人們會炒數據。
    微軟已經通過Windows Azure上的Marketplace在進行這樣的嘗試，目前主要針對的是商業用戶，已經能將第三方解決方案提供商、服務提供商、模塊提供商和最終的商業用戶通過這一虛擬市場聯結在一起，可以發起自由交易。在這個基礎上，我們又延伸出一個數據集市，讓數據集的擁有者可以把數據發布到集市上，提供很多很細致的數據集，小到電影院座位和路況，大到國家宏觀經濟發展數據。這就能讓開發者可以通過微軟的一些簡單易用的API或者工具，把這些數據整合到自己的環境里，開發新的應用。
    這樣的大數據生態顯然是健康、可持續的。對微軟、亞馬遜、谷歌、VMware這樣的平臺商而言，專心做好底層云計算基礎架構和大數據服務平臺；對淘寶、中國移動、政府各部委這樣的數據商來說，原本只能自己用的數據，在這個模式下可以產生更多的社會和商業價值；對Salesforce、SAP、用友、金蝶等應用開發商來說，傳統的、非常困難的、非常繁瑣的數據整合，現在通過這樣一個集市，可以首次實現把不同應用系統產生的數據整合起來，發現價值；對數據玩家來說，能夠有一個朝陽式的投資平臺可供選擇，且不那么容易被大機構操縱。
    當數據公開、數據交易和大數據應用成為自然而然的習慣時，或許我們才可以說，大數據時代真的來臨了。