大道至簡的數據體系構建方法論

由上至下地梳理數據指標體系

1.確定目標

這是第一個應該問自己的問題?；ù罅庾鰯祿治?，最終為了什么呢？如果這都沒想清楚，那數據體系肯定無從下手。

是想提高用戶活躍度、增加用戶、增加銷量，還是別的什么目標？這么一想，好像我都想要。都想要沒有問題，但是會讓工作的邊界無限蔓延，導致事情無法推進。所以，應該從最關心的那個目標/KPI入手。

那么，什么問題才是我們最需要關心的目標呢？

對于不同領域、不同階段的公司和不同角色的用戶而言，這個問題的答案都不一樣：對于很多公司老板來說，利潤就是他們最關心的目標；對于非售賣產品/服務的公司或政府而言，也許客戶滿意度是最關心的目標；對于交易平臺類公司或早期電商公司而言，利潤不是重點，交易量是最關心的目標。

最關心的目標搞定了，下面是不是可以解決都想要的問題了呢？并不是這樣。大數據帶來的最大一個誤區就是數據量和字段數越多越好。但是，在真正解決具體業務問題時，我們一定是從大數據的全集中切出相關的一個子集來使用的。

對于單人而言，無論是老板還是執行層，同時關注的目標/KPI都不宜過多。同時看幾十個KPI，想象一下也知道會很暈，且耗費時間。但是，對企業而言確實有很多KPI都是非常重要的。這該怎么辦？可以分解到多人，即不同角色一起協作，每個角色關注自己的目標，所有角色合在一起是公司所有目標/KPI的全集。

假設老板最關注的目標是利潤，利潤=收入-成本，可以將這個目標分解為由銷售總監來關注收入，運營總監來關注成本。當然，并不是說老板不能看收入，而是把常規性的關注目標鎖定在一個可行的范圍之內。

2.分解指標

目標確定了，下一步是分解出相關的指標。

針對目標，需要哪些指標來監控或分析能達成目標呢？比如利潤，相關指標就是收入和成本，當然這太粗了，收入有哪幾類，成本有哪幾類，都應該考慮進去。比如對于零售行業的銷售額，可以分解為客流量、進店率、購買率、客單價和復購率等。

所以，分解的方式有很多種，需要遵循MECE原則（完全窮舉，相互獨立）。

3.細化字段

針對指標的計算公式，涉及到哪些字段，分別在哪些庫的哪些表里，是否需要數據清洗，清洗規則是什么等。

比如購買率，是通過公式“購買人數/進店人數”算出來的，購買人數又是對“客戶ID”進行計數計算得出來的，這些指標涉及到的字段對應到數據庫里哪張表的哪個字段，需要梳理清楚，這部分就需要IT人員或數據庫管理員的介入和配合了。

4.非功能需求

上述第3步完成之后，我們其實已經算是梳理完了指標體系，可以落地了，但為了讓最終形成的數據系統更加完備、友好、可用，還需要一些非功能需求的梳理。

UI：偏好什么樣的展示風格，這點看著無關緊要，但實際上用戶每天都會與數據系統打交道，美觀、體驗好的系統UI會讓用戶更加喜歡。

頁面流：哪些相關指標擺放到同一個報告頁面上，頁面之間的層次關系如何，用戶可以在頁面之間如何跳轉。

權限：誰能看哪些數據范圍，誰能看哪些字段和指標，需要有統一的權限控制，避免出現數據安全問題。

ETL：數據從數據源同步到分析系統的頻率如何，規則如何。

集成：是否需要在界面、預警消息等層面與其它系統進行集成。

性能：看不見摸不著，但是直接決定系統可用性。如果數據量大時需要幾分鐘甚至幾十分鐘才能看到結果，相信這個系統就不會有人愿意用了。

5.系統實施

上述4項完成之后，我們就形成了《數據運營系統需求文檔/實施方案》，即可落地到數據運營系統里，然后，再根據報告頁面數量、數據準備復雜度等確定工作量和時間計劃。

二．由下至上地實施落地到BI系統

1.連接數據

根據需求文檔/實施方案，一步步進行系統搭建工作。這個系統有的企業稱之為大數據平臺，有的企業稱之為BI系統。大數據平臺的范疇會更廣一些，但對企業數據化運營而言，BI一定是核心構成。

那么，無論是開發還是基于像永洪科技一樣的第三方工具快速實施，系統搭建的第一步都是連接各個數據源，打通和各個數據源之間的通路。

在企業里，數據環境往往是異構的，數據源可能包括數據庫、Hadoop系列平臺、Excel文件、日志文件、NoSQL數據庫、第三方接口等，需要對每種數據源都有快速友好的對接方式。

最終，我們在系統里能看到所需要的各個數據源中所有的表格和字段。

2.數據處理

數據源里的數據往往是有或多或少的不規范性存在的，比如有重復記錄，比如有遺漏的空值，比如有明顯不合理的異常值（比如有2020年的成交訂單），還可能有同一個事物在系統中存在多個名稱的情況。

這些數據如果不做一些處理或稱之為清洗的工作，是會對分析的準確性產生很大影響的，所以需要做些預處理。這個過程往往是最耗時、最枯燥的，但也是十分重要的。

作者提醒：這個環節的問題將在下一篇《大道至簡的數據治理方法_論》文章中再深入探討。

3.數據建模

數據處理好了，下一步就該做數據建模了。

一提到建模，非技術背景的用戶就生畏，覺得高深不可理解。其實建出的模是個什么東西呢？簡單來講，把多張表關聯到一起，就是一個數據模型。

比如，公司要做績效分析，需要員工的工齡、學歷、項目數、項目金額、項目利潤率等指標，其中工齡、學歷在個人信息表里，項目數、項目金額在項目表里，項目利潤率在財務表里，這三張表有個共同字段“員工編號”，通過這個字段把這三張表關聯起來，這就是一個數據模型，一個績效分析主題的數據模型。

4.制作數據報告