數據分析的7個關鍵步驟

“數據科學家” 術語總讓人聯想到一個孤獨的天才獨自工作，將深奧的公式應用于大量的數據，從而探索出有用的見解。但這僅僅是數據分析過程中的一步。數據分析本身不是目標，目標是使企業能夠做出更好的決策。數據科學家構建出的產品，必須使得組織中的每個人更好地使用數據，使得每個部門、每個層級可以做出受數據驅動的決策。

在自動收集、清洗和分析數據的產品中，可以捕獲數據價值鏈，為執行儀表盤或報告提供信息和預測。隨著新數據的產生，分析工作可以自動地、連續地運行。數據科學家可以根據業務不斷改進模型，提高預測精度。

雖然每個公司都是針對自己的需求和目標創建數據產品，但價值鏈中的一些步驟是一致的：

1. 決定目標

在獲取數據之前，數據價值鏈的第一步要先決定目標：業務部門要決定數據科學團隊的目標。這些目標通常需要進行大量的數據收集和分析。因為我們正在研究那些驅動決策的數據，所以需要一個可衡量的方式，判斷業務是否正向著目標前進。數據分析過程中，關鍵權值或性能指標必須及早發現。

2. 確定業務手段

應該通過業務的改變，來提高關鍵指標和達到業務目標。如果沒有什么可以改變的，無論收集和分析多少數據都不可能有進步。在項目中盡早確定目標、指標和業務手段能為項目指明方向，避免無意義的數據分析。例如，目標是提高客戶滯留度，其中一個指標可以是客戶更新他們訂閱的百分比，業務手段可以是更新頁面的設計，提醒郵件的時間和內容以及特別的促銷活動。

3. 數據收集

數據收集要盡量廣撒網。更多的數據—-特別是更多的不同來源的數據—-使得數據科學家能找到數據之間更好的相關性，建立更好的模型，找到更多的可行性見解。大數據經濟意味著個人記錄往往是無用的，擁有可供分析的每一條記錄才能提供真正的價值。公司通過檢測它們的網站來密切跟蹤用戶的點擊及鼠標移動，商店通過在產品上附加RFID來跟蹤用戶的移動，教練通過在運動員身上附加傳感器來跟蹤他們的行動方式。

4. 數據清洗

數據分析的第一步是提高數據質量。數據科學家要糾正拼寫錯誤，處理缺失數據以及清除無意義的信息。這是數據價值鏈中最關鍵的步驟。垃圾數據，即使是通過最好的分析，也將產生錯誤的結果，并誤導業務本身。不止一個公司很驚訝地發現，他們很大一部分客戶住在紐約的斯克內克塔迪，而該小鎮的人口不到70000人。然而，斯克內克塔迪的郵政編碼是12345，由于客戶往往不愿將他們的真實信息填入在線表單，所以這個郵政編碼會不成比例地出現在幾乎每一個客戶的檔案數據庫中。直接分析這些數據將導致錯誤的結論，除非數據分析師采取措施來驗證和清洗數據。尤為重要的是，這一步將規?；瘓绦?，因為連續數據價值鏈要求傳入的數據會立即被清洗，且清洗頻率非常高。這通常意味著此過程將自動執行，但這并不意味著人無法參與其中。

5. 數據建模

數據科學家構建模型，關聯數據與業務成果，提出關于在第一步中確定的業務手段變化的建議。數據科學家獨一無二的專業知識是業務成功的關鍵所在，就體現在這一步—-關聯數據，建立模型，預測業務成果。數據科學家必須有良好的統計學和機器學習背景，才能構建出科學、精確的模型，避免毫無意義的相關性及一些模型的陷阱。這些模型依賴于現有的數據，但對于未來的預測是無用的。但只有統計學背景是不夠的，數據科學家還需要很好地了解業務，這樣他們才能判斷數學模型的結果是否有意義，以及是否具有相關性。

6. 培養一個數據科學團隊

數據科學家是出了名的難雇用，所以最好自己構建一個數據科學團隊，讓團隊中那些在統計學方面有高級學位的人專注于數據建模和預測，而其他人—-合格的基礎架構工程師，軟件開發人員和ETL專家—-構建必要的數據收集基礎設施，數據管道和數據產品，使得結果數據能夠從模型中輸出，并以報告和表格的形式在業務中進行展示。這些團隊通常使用類似Hadoop的大規模數據分析平臺自動化數據收集和分析工作，并作為一個產品運行整個過程。

7. 優化和重復

數據價值鏈是一個可重復的過程，能夠對業務和數據價值鏈本身產生連續的改進?；谀Ｐ偷慕Y果，業務將根據驅動手段做出改變，數據科學團隊將評估結果。在結果的基礎上，企業可以決定下一步計劃，而數據科學團隊繼續進行數據收集、數據清理和數據建模。企業重復這個過程越快，就會越早修正發展方向，越快得到數據價值。理想情況下，多次迭代后，模型將產生準確的預測，業務將達到預定的目標，結果數據價值鏈將用于監測和報告，同時團隊中的每個人將開始解決下一個業務挑戰。