大數據分析報告：大數據+機器學習將成為大部分企業的標配

一、什么是大數據？

數據已經被使用了十幾年了，比如它們總是被用于各種分析，所以為什么說是「大數據」呢？主要是因為我們現在可用數據的數據量（Volume）、處理速度（Velocity）以及數據種類（Variety）。數據并不新，只是比之前大得多。

二、什么使得數據更大？

大部分傳統數據是結構化的或整齊有序的數據集。而后，全球進入了數字化，互聯網也隨之而來。我們所做的大部分事都能轉錄成 1 和 0 組成的字符串，進行記錄、存儲、處理以及分析。

對大型企業機構而言，數據存儲成本直線下降。企業如今有了選擇：要么把所有的數據存儲到遠程數據中心，要么轉包給基于云的數據存儲提供商。

如今，全球每天創造 2.5 個五萬億字節（IBM，「什么是大數據？」）。當然，這些數據并不是都與商業有關，但數字之后的信息表明公司可用的數據規模一直在增長。不可否認，大數據的增長正在改變現代商業的外觀。但公司如何處理數據至關重要。

實際上，如今每一個產業在某種程度上都是信息驅動的。金融、專業服務、制造、零售、物流、交通等等。沒有一個分支能逃脫數據革命的影響。

從機器學習到人工智能以及商業分析，這一科技的大規模應用超越了傳統的 IT 部門的限制，推動創新。但僅僅大數據達不到這一點，它是洞見的來源。

三、SoftServe 大數據分析調查

為了幫助理解這一新場景，我們呈現了 2016 年的 SoftServe 大數據分析調查，這是在接下來 12 個月或更久的時間中可能會顛覆商業與公司的大數據趨勢的審查報告。

這一調查有 300 位調查對象，這些中到大型公司的決策者 100 位來自英國，200 位來自美國。其中的 150 位所在的公司有 1000 到 3000 位職員，剩下的 150 位調查對象代表的公司所有職員超過 3000 位。調查對象分布于六大產業：

商業和專業服務

制造業

金融服務

零售

物流與運輸

其他商業部門

這一調查由調研機構 Vanson Bourne 在今年 4 月份進行，跨行業調查了組織領導者對大數據分析和商業中的風險、挑戰和機遇的看法。該調查的目的在于揭示最新的機會和見解，以幫助你從今天的海量數據中獲得最大價值。

我們的報告是受到了如今各產業、地方、大小公司內的決策者公認的機遇的啟發。我們探索了他們如何使用大數據與分析重塑各自公司的方方面面，也探索了他們利用這一新生的技術與方法進行轉型時所面臨的挑戰。我們調查的領導者非常幸運的能處于數據革命的前沿位置，這場革命有望徹底改變我們做生意的方式。

四、大數據的影響

站在未行者的前方

處于一個步伐不斷加速的環境中，一個細節的忽視就會對底線產生重大的影響，一個錯誤多犯幾次的影響將會是災難性的。在全球競爭中，快節奏的玩家越來越占據主導地位，數據成為建立更加靈活、反應敏捷、多產的商業的關鍵。

全世界的企業開始公認大數據是一個關鍵趨勢。更重要的是，他們開始將大量的時間與金錢投入到分析服務。從幫助銀行追蹤實時趨勢，到為零售商提供洞見從而幫助他們更好地理解消費者的購物喜好，分析能為每一行業開啟新的機遇。

對其當前地位的戰略重要性而言，大數據的優勢在短時間內就顯現了出來。但這一報告發現，盡管大數據分析技術相對較新卻分布廣泛，86% 的公司已經使用某種形式的大數據分析了。其中，45% 在全公司內使用大數據，41% 部分使用。剩下的還未開始使用大數據的公司中，有11% 計劃在未來使用大數據。信息：大數據將很快在全球每一組織的運行中起作用。

五、從一次機遇成為必須品

大數據不再只是一次機遇，它成為了必需品。不久之前，公司還在問他們為什么需要關注大數據。如今，大數據分析已經達到了一個點：63%的被調查公司相信它對保持競爭力至關重要。此外，公司也變得更加容易接受建立在大數據分析方法論上的新技術。

60%的IT 公司使用大數據，在產業采用大數據達到最高度的過程中，科技企業帶路前行。同時，零售、物流、運輸行業還有很多事情要做，這些公司中只有 29% 使用大數據支持現有的策略。這并不是因為這些行業缺乏應用。對使用大數據的人來說，大數據能成為大商業。零售商可以使用大數據分析網頁瀏覽模式、產業預測以及消費者記錄，從而預測需求、定位消費人群、優化定價以及監控實時趨勢。

在美國，大數據已經在飛速發展。這使得英國望塵莫及，只有 23% 的英國調查對象在全公司內使用大數據，相比于此美國是 56%。然而，英國看起來在未來會大步前行，53% 的公司已經部分使用大數據，同時 16% 的有計劃將大數據并入他們的策略中（相比于此，美國分別是 35% 與 9%）。

六、如何使用大數據

由大數據提供的機遇范圍從節約成本到改進分析等。調查對象被問及相比于傳統的系統，他們看到的大數據提供的最大機遇是哪個領域。62% 的認為實時分析是如今最大的潛在增長機會。

相比于傳統系統，大數據分析為你公司提供了什么機會？

金融服務行業內的公司主要認為大數據的機遇來自于實時分析（70%）以及趨勢分析（67%）。

金融服務公司比其他產業內的公司更加重視大數據分析的價值，當出現新技術時也更早的采納，其中 67% 的調查對象稱它為保持競爭力的必需品，68% 期望在兩年內使用機器學習捕捉商業洞見。

想要縮小提供的體驗與消費者的期望之間的差距讓金融機構面臨的壓力日益增大。銀行正在采用來自消費者的線索，也從其他產業學習，比如媒體、移動以及零售，并且基于這些其他產業內的經驗設定期望。

在金融領域，知識能提供競爭優勢，驅動數百萬的附加收益，這比其他產業要多。能提供這種洞見的科技成為了高度追求的對象，大數據分析這樣的工具也在上升。對金融部門而言，大數據是迎合客戶需求，提供更為快速、準確的服務的關鍵部分。

制造業有同樣的看法，60% 的調查對象認為大數據分析是必需品，且 62% 計劃在未來部署機器學習。

對 IT 產業而言，大數據的好處大多可視為是降低成本（80% 的調查對象），反映出他們的使用許可以及節約硬件的意識。

七、機器學習

機器學習是一個新術語，但它有現實生活中的應用

機器學習帶來的一大主要益處是能快速而有效地分析海量數據，而人類要做到這一點需要龐大的團隊。這已經在金融服務業被證明是有效的，在這個行業內，保險公司、銀行和貸款機構需要有價值的及時的洞見。機器學習還幫助金融機構提供更好的客戶體驗，以及更強的識別發展趨勢和模式的能力，從而減小風險。

例如，銀行可以使用預測性分析改善貸款批準流程。使用遍及大型匿名數據集的一套標準化準則，銀行可以將他們的批準過程從幾天加速到幾分鐘。

公司正意識到這點，當他們孤注一擲，部署機器學習技術時，他們可以在短時間內領悟許多洞見，從消費者在做什么轉變為理解消費者為什么這樣做。

這份報告顯示，在下一個十年，大數據、機器學習和人工智能將無縫對接到許多不同公司的結構體系中。研究結果強調，大數據「甜蜜點」對每家公司是相異的，但是每個部門都能獲得相當大的收益。從日益增長的顧客忠誠度到更快的業務流程，來自大數據的獎賞絕不會是微不足道的。像這樣的未來投資預計是有意義的。

八、大數據，高價值

然而，當大數據有潛力提供重大價值時，它也存在新的挑戰。調查考慮了各行各業的增長困難。例如，零售行業最關心數據管理。

相比于傳統系統，大數據分析的數據管理更值得關注?？傮w上看， 76% 的公司贊同在進行大數據分析時，數據管理比傳統系統更值得關注的，這表明數據管理對所有行業而言仍然是一大挑戰。這還證明，公司需要針對隱私、安全和管理采用積極主動的方法做好隱私，安保，和管理工作，從而保證所有數據和洞見都被安全地保護起來。

九、打破信息孤島

公司孤島都有傳統上數據準確性的復合問題（compounded problem）。商業領域有自己的習慣，許多已經習慣于在孤島中專注于某一焦點上的工作。這會導致獨立的數據集以及臨時行動，而這些反過來會產生不充分或不精確的數據。未能將這些數據源聯系起來，阻礙了不同部門獲得關鍵洞見，這可能就意味著成功與失敗的差別。

48% 的金融服務公司認同大數據分析提供了整合數據孤島的機會。在情理之中的是，與金融世界最緊密相連的公司將大數據視為優先事項。根據 Gartner 的報道（「數據質量現狀：現行的做法和發展趨勢」），低質量的數據每年讓公司付出 1420 萬美元。財務報表上不可能存在該對這種級別的損失負責的條目。通過系統地整合這些數據孤島，大數據轉變是可以克服這個挑戰的——而且可以將低劣的數據轉換為有用的信息。

十、機遇來臨

但是，大致來說，未來是光明的。從數據驅動的市場營銷到指導油田運營，大數據正在為每種類型的公司加速創新、推動效率以及創收提供機會。

若想在大數據領域成為重要玩家，一家公司需要采取三個至關重要的步驟。第一步是關于數據本身：確保你的信息形式是方便獲取和分析的。大多數大公司實際上已經做到這點了，他們擁有的數據通常比他們使用的數據多得多。第二步是可利用的大數據工具，比如 Hadoop、MPP Data Warehouse 和 NoSQL 。近來，擁有專利的或開源的工具和平臺隨處都可以獲得——你需要的是能夠利用這些工具和平臺完成工作的人。然后我們到了第三步，這通常是最有挑戰的問題：專業知識。高級的分析需要員工具備從數據科學到全球范圍的隱私法等方方面面的最先進技能，還需要了解商業以及與相關的價值來源。

大數據不僅是一種技術倡議。事實上，它根本不是技術倡議；它是需要專業的科技知識的商業項目。所以，你不能只是加入更多的能力和專業知識，就期待你的 IT 或市場部門開始產生基于數據的洞見。即使他們做到了，公司的其他部門也極有可能不會執行這些洞見。

正如進行數據分析的領導者所發現的那樣，在大數據方面取得成功需要另辟蹊徑：你需要大數據嵌入和能深入理解你的公司知道提出何種問題的人。這是確保信息和洞見能在不同業務和部門之間分享的最佳方法。這也確保整個公司能認識到一個運行良好的分析程序能提供規模效應。

最終，事先做好準備的最佳方式是咨詢一位專家，讓其針對你的商業需求提供最好的大數據方案。利用一個全套解決方案，這個過程可以進一步流水線化，這個解決方案能幫助你識別出大數據分析能為你的哪些業務帶來最多的利益。未來數據會非常大，對于有效使用數據的公司而言，發展潛力是無窮盡的。