
隱私換便捷?大數據挖掘究竟是怎樣的技術
大數據殺熟?隱私換便捷?一度被熱捧的大數據挖掘,近日站在了輿論的風口浪尖:一些商家利用大數據挖掘技術“殺熟”被網友親測證實;百度董事長兼CEO李彥宏一句“中國人對隱私問題沒有那么敏感”,更是讓它的處境雪上加霜。大數據挖掘技術就像一位有了負面新聞的明星,霎時間光彩暗淡,似乎變成了偷人隱私的小賊。
《大數據時代》一書暢銷之后的幾年,大數據雖不再那么當紅,但并未隱退,它的持續發展已成為人工智能得以實現的基礎之一。
那么,大數據挖掘究竟是怎樣的技術?從誕生發展至今,那些埋頭苦干的技術人員又讓它長了哪些本領?面對大數據難以管理的問題,有沒有技術手段加以控制?
用戶畫像:機器給人類貼標簽
“通過打標簽的方式建立用戶畫像,是數據挖掘常用的一種技術?!北本┐髮W計算機科學技術研究所多媒體信息處理研究室主任彭宇新教授解釋,建立用戶畫像就是利用社交網絡的信息,根據用戶社會屬性、生活習慣和消費行為等信息,抽象出一個標簽化的用戶模型,目標是使機器實現類似于人的“見信如面”的能力。社交網絡數據是實現這一目標的基礎,機器對人的“初相見”多是源自于對社交網絡數據的挖掘。
標簽,通常是通過對用戶信息進行分析得到的高度精煉的特征標識,使得機器方便做信息提取、聚合分析等處理。標簽本身無需再做過多文本分析等處理工作,這為利用機器提取標準化信息提供了便利。
“有了標簽,計算機就能夠自動處理與人相關的信息,能夠通過算法、模型逐步‘理解’
人?!迸碛钚陆榻B,多個標簽共同完成畫像,整個過程可分三步走:一是采集數據,即基于文本的信息抓取,口語稱為“爬數據”;二是用戶行為建模,通過機器學習技術,形成算法模型,判斷用戶可能的一些行為;三是可視化展現,把機器運算出來的結果,通過能讓人類理解的方式展現出來。這三步是多輪調整的,在實際應用中,根據結果的反饋,以及業務需求,可能進行二次建模等調整。
整個過程的影響參數是相對多元的,不同的行為類型,對于標簽信息的權重影響也不同。以應用最廣的商品營銷為例,比如網售紅酒,如果“購買”權重計為5,僅“瀏覽”計為1,加上瀏覽間隔、駐留時長、生活習慣等,通過復雜的算法最終呈現出一個標簽的權重,再形成畫像。
基于用戶畫像技術,大數據挖掘進行分類和關聯規則計算等分析:例如喜歡紅酒的用戶有多少,喜歡紅酒的人群中,男、女比例是多少,喜歡紅酒的人通常喜歡什么運動品牌等等。
跨媒體智能識別:為計算機裝上慧眼
“以前文本信息占主流,現在圖像、視頻等多媒體數據鋪天蓋地而來?!迸碛钚抡f,后者目前占據大數據的80%以上。
數據類型發生的巨大變化,使得智能識別的任務更加艱巨?!肮懿蛔 焙汀坝貌缓谩钡膯栴}日益凸顯?!皺C器只能讀懂自己的語言?!迸碛钚抡f,人類世界的所有語言都要轉化為機器理解的語言才能被識別,以前只處理文本相對簡單,而現在要加上復雜的圖像、視頻等數據。
“例如,世界上有數千種鳥類,很多種的差異非常細微,即使是有專業知識的人類也很難準確辨認,計算機自動識別的難度就更大了?!迸碛钚抡f,圖像、視頻內容理解的難點在于如何進行語義自動識別,這也是他們團隊多年攻關的課題之一,為此團隊發明了基于注意力模型和深度增量學習的識別方法。
注意力模型,顧名思義是讓計算機自動定位圖像的顯著性區域,以此提高檢測精度;深度增量學習,是指計算機能夠利用已經學到的知識加速對新知識的學習,同時通過動態擴容以支持新概念的檢測。
新模型新算法的發力,幫助機器快速識別圖像、視頻的語義信息。彭宇新團隊近年來六次參加國際權威評測TRECVID的視頻樣例搜索比賽均獲第一名,并在與卡內基梅隆大學、牛津大學、IBM
Watson研究中心等參賽隊伍的較量中勝出。其中一個題目就是在464個小時的視頻中快速準確地找出所有的倫敦地鐵標志,彭宇新團隊僅用了不到1秒就成功勝出,獲得第一名。
單媒體信息的分析與識別之上,如何進一步讓機器像人類一樣能看、能理解呢?
為達到跨媒體信息融合與一體化分析識別的目的,項目團隊首先把數據按照不同媒體類型自動分發到對應的分析與識別模塊。例如,對視頻鏡頭進行分割、對關鍵幀進行提取,然后分發到鏡頭檢索、片斷檢索、視頻字幕識別等模塊中,對單媒體分析結果進行跨媒體語義關聯分析,實現跨媒體信息的語義協同?!耙环N常用的方法是構建第三方空間進行跨媒體關聯?!迸碛钚抡f,“計算機根據我們教它的模型分別為圖像、視頻、文本、音頻抽取表征,再共同投射到一個第三方空間中,這樣不同媒體的信息就可以對話了?!?br />
技術的“抽絲剝繭”,讓圖像、視頻中的信息可以如文本一般透明?!拔覀兪敲橹鴳萌サ?,準確率、處理速度都經過多年的優化,已經可以進行實際應用了?!迸碛钚陆榻B,這項技術不僅幫助新聞媒體等行業進行數據管理和檢索,還在助力互聯網管理部門對大數據進行分析與監測。
匿名處理:可預期的隱私保護對策
打破信息控制權幾乎不可能,但隱私保護卻有個很便捷的方法。北京郵電大學教授楊義先的《安全簡史》中有個形象的比喻,如果數據在網上“裸奔”,為了不被溯源,最便捷的安全手段是“把臉捂住”。這就是所謂的“匿名化處理機制”。
“用戶隱私保護的相關規定要求,數據公司在售賣數據時,需要對數據進行匿名化處理?!北本┐髮W計算機科學技術研究所研究員趙東巖說。但為了精準定位、推送服務,匿名化處理可能被忽視?!熬珳室馕吨繕丝蛻羧旱腎D指向,而不是向群體發送,因此,個性化推送和匿名化處理在目前的技術中是相互沖突的?!?br />
針對上面的沖突,業界的先行者提出一種區塊鏈的解決思路?!拔曳Q它為OF ID?!北本╊I主科技公司研究人員劉偉泰說,“大數據的本質是群體研究,但是群體粒度可以細一些,此外,區塊鏈技術可以授予用戶授權的方法?!?br />
不難想象,隨著新技術的不斷創新,會有更多用于信息安全的技術突破,不是一門心思用于大數據挖掘,而是也能用于制衡“信息控制權”。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25