基于大數據的用戶標簽體系建設思路和應用

在大數據時代，數據在呈現出海量化、多樣化和價值化變化的同時，也改變了傳統IT行業的市場競爭環境、營銷策略和服務模式。

如何在ZB級的海量數據中獲取并篩選有價值的信息，是對IT企業的一大挑戰。通過構建客戶標簽，支撐精準營銷服務，是應對上述挑戰的有效解決方案。

但是怎么設計一個完善的用戶標簽體系？怎么打標簽？打哪些標簽？誰來打？怎么使用用戶標簽創建商業價值？

這些都是產品設計層面需要解決的問題。

掌上醫訊一直以來都致力于打造醫生的今日頭條和智能化的學習平臺，通過大數據技術實現醫生學習的智能化和個性化，而要構建這樣一個學習平臺，最基礎的就是要建立用戶的標簽體系。

經過長時間的學習、思考、借鑒和實踐，現在已經有了自己的標簽構建思路，并且也已經提取出了符合自身業務的標簽。我們十分重視用戶行為日志的收集，現在已經有了億萬級別的日志數據，正在搭建數據處理和標簽計算平臺，以下是我們整理的建設思想。

標簽系統的結構

標簽系統可以分為三個部分：數據加工層、數據服務層和數據應用層。

每個層面向的用戶對象不一樣，處理事務有所不同。層級越往下，與業務的耦合度就越小。層級越往上，業務關聯性就越強。

數據加工層

數據加工層收集、清洗和提取數據。掌上醫訊有諸多的學習模塊，同時又有網站、APP、小程序等多個產品形式，每個產品模塊和產品端都會產生大量的業務數據和行為數據，這些數據極為相似又各不相同，為了搭建完善的用戶標簽體系，需要盡可能匯總最大范圍的數據。收集了所有數據之后，需要經過清洗、去重、去無效、去異常等等。

數據業務層

數據加工層為業務層提供最基礎的數據能力，提供數據原材料。業務層屬于公共資源層，并不歸屬某個產品或業務線。它主要用來維護整個標簽體系，集中在一個地方來進行管理。

在這一層，運營人員和產品能夠參與進來，提出業務要求：將原材料進行切割。

主要完成以下核心任務：

1. 定義業務方需要的標簽。
2. 創建標簽實例。
3. 執行業務標簽實例，提供相應數據。

應用層的任務是賦予產品和運營人員標簽的工具能力，聚合業務數據，構建具體的數據應用場景。

（1）標簽的類型

從數據提取維度來看，標簽可分為：事實標簽、模型標簽和預測標簽。

（2）事實標簽

從生產系統獲取數據，定性或定量描述用戶的自然屬性、產品屬性、消費屬性、資源屬性等，以及根據工作人員經驗積累的業務規則進行篩選、分析生產的標簽，如是否活躍用戶、是否是考生等。

（3）模型標簽

對用戶屬性及行為等屬性的抽象和聚類，通過剖析用戶的基礎數據為用戶貼上相應的總結概括性標簽及指數，標簽代表用戶的興趣、偏好、需求等，指數代表用戶的興趣程度、需求程度、購買概率等。

（4）預測標簽

基于用戶的屬性、行為、信令、位置和特征，挖掘用戶潛在需求，針對這些潛在需求配合營銷策略、規則進行打標，實現營銷適時、適機、適景推送給用戶。

從數據的時效性來看，標簽可分為：靜態屬性標簽和動態屬性標簽。

（5）靜態屬性標簽

長期甚至永遠都不會發生改變。比如性別，出生日期，這些數據都是既定的事實，幾乎不會改變。

（6）動態屬性標簽

存在有效期，需要定期地更新，保證標簽的有效性。比如：用戶的購買力，用戶的活躍情況。

標簽的定義

給用戶打標簽，建立用戶畫像，最終都是為了去應用，所以我們要站在應用場景上去定義用戶的標簽體系，每個標簽都有最終的用途。比如：我們做考試培訓服務，我們需要建立“是否考生”的標簽。

另外，不同的行業他們的用戶特征也是有顯著區別的，比如：醫生用戶相比普通用戶來說，就多了像“科室”、“職稱”、“所在醫院等級”等特殊含義的標簽。

而標簽是有層級關系的，既是為了管理，更好的理解，又是為了控制粗細力度，方便最終的應用。標簽深度一般控制在四級比較合適，到了第四級就是具體的標簽實例。

我們根據公司的業務首先劃分了人口屬性、行為屬性、用戶分類和商業屬性四個大的分類，下面又分了上網習慣、學習慣、人群屬性、消費能力、消費習慣等分類，最末級精確到用戶的活躍等級、閱讀來源、考試偏好等具體的標簽。

標簽的維護

每個標簽都不會憑空產生的，也不會一成不變，更不會憑空消失。標簽的維護需要生成規則，需要定義權重，需要更新策略。

生成規則

如第一部分所說，標簽分為事實標簽，模型標簽和預測標簽三大類。對于這三類的標簽，生成規則的難度和復雜性也是逐級遞增的。事實標簽只需要考慮從什么地方提取即可，它即包含明確的標簽定義，又包含無法窮舉的標簽集，比如：關注的病種。

而模型標簽需要進行數據的關聯和邏輯關系的設計，通過一定的模型對數據進行計算得來。而預測標簽相對就非常的復雜，無法從原始數據提取標簽，標簽的生成準確度就太依賴我們大數據分析和人工智能技術的應用。

定義權重

一個標簽會在多個場景下出現，比如：一個疾病標簽，它極可能在瀏覽過程中生成，也有可能在搜索場景下產生，但是對于這兩個場景所對應的同一個標簽，他們的權重是不同的。瀏覽相比搜索，權重要小得多，因為搜索的主動需求更大。

更新策略

上文我們從數據的時效性上對標簽分為靜態屬性標簽和動態屬性標簽，對于靜態屬性標簽的處理相對比較簡單，就不停的累加即可。但是對于動態屬性標簽，需要對過期標簽進行降權甚至刪除處理，比如：醫生考試前和考試后，會影響“是否考生”這個標簽的，這就需要制定更新策略。

標簽建設的技術架構

標簽體系的建設涉及很多環節，數據量也十分巨大，需要有一個健壯且高效的技術架構來支持數據的存儲及計算，掌上醫訊采用了sql數據庫和no-sql數據庫來滿足結構化數據和非結構化數據的存儲。

使用hadoop的分布式存儲技術及hive和hbase組件作為數據倉庫，使用MapReduce和spark分布式計算來提高計算速度，使用kylin進行多維分析，通過BI工具和接口對外提供應用，使用sqoop和kettle進行數據的抽取及流程的調用。

更多的應用場景

用戶標簽建立已經基本應用在掌上醫訊的內容智能推薦的學習場景中，但隨著標簽的完善以及智能化處理的提升，這套標簽體系將有更廣闊的應用場景。

（1）智能化學習場景的構建

通過用戶學習需求的標簽的分析進行用戶分群，針對不同的用戶群在APP的功能和內容上進行個性化展示，滿足不同學習需求的用戶個性化的學習服務。

（2）精準營銷推廣的建立

更細粒度的對用戶進行篩選，同時能夠精準預測可能存在的目標用戶進行推廣，從而擴大醫生覆蓋，提升推廣的轉化率。

（3）KOL用戶畫像的描繪

基于該標簽模型，增加對外部數據的采集分析，更加完整的生成醫生360度的用戶畫像，幫助企業尋找潛在的KOL用戶，實現用戶洞察，輔助市場決策。

標簽的建設是一個看似高大上，其實很繁瑣、糾結的過程，需要對業務抽絲剝繭，還要應對運營需求的各種變化，不過對公司發展的影響也是深遠的。