Yahoo的大數據分析的個人化應用_數據分析師培訓

大數據(Big Data)近年來已成為市場關注焦點，為了能夠發掘大數據的商業價值，在基礎建設已經漸漸完備，數據搜集及儲存能力已然成熟的環境下，大數據應用的探索焦點，已逐漸從數據技術與系統的討論，逐漸轉移到數據的分析與各領域的深化應用。

如目前的入口網站早已是許多人日常生活不可或缺的服務提供者，透過使用者在使用入口網站服務的行為分析，業者不但可以更進一步地提供個人化推薦服務，還可能為相關業者找到更多的商機。

但并非所有的數據都能產生價值，必須透過很多生態系統搭配組合，才能產生用戶所需要的資訊。

大數據已成市場關注焦點。數據的確需要去開采，也需要技術及工具，但技術及工具也可能會用錯或浪費資源，所以技術人員不能只看技術，而是要去理解數據真正的價值所在。

如健康照護服務及定位數據如果加以混搭，雖然可以提供更進一步的價值，但如何說動使用者開放或分享，其實需要更細致的說服過程。此外，大數據分析所呈現的世界，客戶需求會更加清晰，但市場區隔也會變小，產品及服務必須要更加客制化。

隨著無線網路、行動裝置及物聯網的時代來臨，人與物的連結將變得更加多樣化，也創造出更多各類型的數據，如何管理、維護及分析這些數據，并將正確分析的結果即時傳給正確的使用者，創造更多的商業價值，勢必將成為企業未來非常重要的競爭力，大數據分析的價值，值得加以重視。

大數據分析的個人化應用

網際網路基礎建設漸趨成熟，加上行動裝置的便利性及普及，讓許多人的日常生活行為，已經離不開網路，其中又以入口網站接觸到的使用者最多，也成為大數據的最主要來源。

如Yahoo提供的諸多服務，如電子信箱、購物、新聞、理財等，都可以追蹤到消費者的足跡，加上使用者其他的網路使用行為如點擊廣告等，以及全球每月可收集超過16億只智慧型手機及平板電腦上的使用者行為，如何進一步分析這些個人化應用，已成為重要議題。資訊及選擇太多，其實也是大數據分析所遭遇的一大難題，以Yahoo所能追蹤的消費者使用足跡為例，就會發現其實跟一般官網可以追蹤的足跡不太一樣，由此也可知，大數據與一般數據其實仍有差別，不能用同樣的思考或方法來分析。

大數據具有5大特性，包括數據量(volume)、速度(velocity)、多樣性(variety)、易變性(variability)及真實性(veracity)。其中數據量、速度及多樣性這3項是一般較常用來評估大數據的標準。

由于使用者平日在網路的應用習慣，舉凡使用搜尋引擎、即時通訊、看影音節目、氣象、聽音樂、購物、社群活動、上傳相片、電郵及閱讀新聞，Yahoo都有提供對應的服務，其中光是使用者接觸到的媒體內容、電子商務及數位行銷廣告的使用行為分析，就可以產生非常大的商業價值。在分析大數據時，Yahoo一定會做好個人隱私保護，只有行為數據才是真正可以分析的行為。例如，光是早餐的麥片種類就超過70種，往往會造成消費者選擇的困擾，但如果透過適當的使用者經驗分析，就能提升使用者的正面體驗。

以一個小資女班族的日常生活為例，早上在搭捷運上班途中，打開手機看新聞，透過大數據分析，就會優先提供這位使用者平常閱讀的影劇新聞、近期因為想要旅游而常關注的旅游文章，以及最近熱門瀏覽的財經新聞。

透過大數據分析使用者行為，也能讓使用者得到更多相關資訊。如使用者在點擊購物中心84折運動的資訊時，網站就會提示使用者之前看過的那些商品，其實也適用此活動。

甚至在使用者因為點選了廣告推薦的日本秋季賞楓行程，個人化推薦模組就會顯示超級商城的冬季新裝長大衣，或是日本零食、美妝等商品資訊。而且當使用者下班后經過藥妝店時，超級商城App也會提供有限定商品折扣的訊息，而且憑App產生的條碼，到店購買就可享有第二件7折優惠。

Yahoo首頁每天分析超過1億個以上的網路使用行為，才能提供使用者最感興趣的互動，而且使用者的網路使用行為愈多，Yahoo提供的資訊也會愈精準。

而對廠商而言，精準行銷廣告本來就會有提高廣告投資效益的效果，如果能根據使用者行為，在首頁出現相關的廣告，或提示相關的行銷活動，抓到使用者的需求，銷售將會成倍數成長，尤其是個人化模組的促銷量，效果又會比網站推薦模組的效果更好。

針對電子商務，Yahoo臺灣團隊自主研發演算法與歸納消費者行為模式進行分群，透過數百群產品推薦模組，提供更優質的個人化服務，讓購物中心來自個人化推薦模組的業績顯著增加。電子商務方向的大數據分析經驗，發現使用者對于即時性的要求很高，也就是說，使用者的任何行為，要在10幾分鐘后就能完成分析，提供進一步的建議。

要做到前述的使用者行為分析，其實需要各種數據分析技術支援，如分析消費者各類行為與需求的預測模型，也要有能力即時偵測互動事件，并回饋產生最佳的個人化服務內容，而具備一個能夠從互動產生的大數據中，快速地搜集、儲存、擷取、匯整與計算的大數據分析平臺，更是其中的關鍵要素。

大數據分析平臺的運作過程，必須先要有數據來源，然后透過Hadoop、Shark及SQL等技術，很快地完成數據分析處理，最后再將結果儲存并展示在使用者的面前。此外，大數據要做到個人化分析應用，科學建模(Science Modeling)的重要性不言可喻，科學建模依據的數學或科學理論，透過雅虎的實際工程(Practical Engineering)及適應學習(Adaptive Learning)能力，可以具體實踐出成果。大數據分析要做到個人化應用，批次訊號及即時訊號的分析技術，兩者無法相互替代，必須相輔相成，再透過分群數據技術及個人化引擎，最后才能提供為使用者個人量身訂做的專屬建議。