
“大數據”的便利與“暴政”_數據分析師
對于大多數人來說,“大數據”還是一個陌生的術語,但它的威力已無所不在:信用卡公司追蹤客戶信息,能迅速發現資金異動,并向持卡人發出警示;能源公司利用氣象數據分析,可以輕松選定安裝風輪機的理想地點;瑞典首都斯德哥爾摩使用運算程序管理交通,令市區擁堵時間縮短一半……
牛津大學教授維克多·梅耶-舍恩伯格在其新書《大數據》中說,這是一場“革命”,將對各行各業帶來深刻影響,甚至改變我們的思維方式,但同時它也引發“數據暴政”的擔憂。
1 商業:
提供“精準預測”
在一些公司、實驗室和政府機構,“數據”被捧為21世紀新型“石油”或“黃金”。一些統計學家、物理學家和所謂的數據科學家從中獲利豐厚,他們服務于大數據應用程序開發公司,“藍色彼岸”便是其中之一。
“藍色彼岸”成立于5年前,目前有85名員工。經理尤韋·魏斯介紹,公司利用自行開發的軟件,分析超市刷卡記錄、天氣資訊、學校放假信息和交通報告等數據,為客戶提供“精準預測”。他們的客戶包括德國郵購業泰斗奧托集團和dm連鎖藥店。
魏斯說,“藍色彼岸”的軟件不僅能從單條信息中分析出更多內容,而且能發現信息間關聯,對零售業極為有用,可以避免發貨出錯,最大限度降低庫存成本。
例如,“藍色彼岸”發現,某些日子里,一家超市連鎖店的牛奶、巧克力棒和蘋果的銷量大幅上升,而這一時間恰好與附近一家青年旅社里一群學生的到來相吻合。于是,公司搜集鄰近各州學校放假安排等資訊,利用軟件計算出某一特定時間可能到來的學生人數。
再如,“藍色彼岸”發現,如果遇到周三為節假日,其前后幾天小孩不用上學,因此對面包片的需求量減少,“藍色彼岸”的存貨預訂系統會自動做出相應調節。
此外,“藍色彼岸”幫助dm連鎖藥店計算最合理的員工人數,并為每家分店提供銷售預測報告。
奧托集團說,自從使用“藍色彼岸”的軟件,銷售預測準確度提高20%到40%。它準備把該軟件應用推廣到公司運動品牌零售商SportScheck,并收購“藍色彼岸”50%股權。
“大數據正在重塑整個經濟,我們只是處于起步階段,”魏斯說。
2醫療:
開啟個性化治療
位于柏林巴伯爾斯貝格地區的哈索·普拉特納研究所(HPI)可能成為數以百萬計癌癥患者的希望。研究所二樓的計算機房常年保持低溫,以免價值150萬歐元的處理器過熱。普通計算機只有1個處理器,但那里的每臺計算機有40個處理器,運算速度是傳統計算機的1000倍,甚至更快。
普拉特納是全球最大的企業管理和系統化商務解決方案供應商“思愛普”(SAP)創始人,也是HPI贊助人。他介紹說,HPI的漢娜數據庫技術始于一個名叫“Sanssouci DB”項目,由8個大學生創立,曾獲得創新大獎,如今已成為“內存儲處理”的代名詞。
HPI負責人、數學家克里斯托弗·邁內爾認為,該技術不僅有廣泛的商業前景,而且為癌癥治療提供機遇,“我們正站在個性化醫療的門檻上”。
邁內爾說,每一種腫瘤都不盡相同,這意味著同樣的治療方法對不同人會產生不同效果。目前,為了給患者制定有針對性的治療方案,需花費數月破譯其基因組。這并不奇怪,因為每個人有大約30億個DNA“積木”。但在HPI“超級大腦”的幫助下,破譯基因組只需要短短數秒。
此外,HPI的電腦可以從公共基因庫中精選所有信息,為每一個患者尋找到最合適他癥狀的治療方案?!澳壳?,這種搜索配對過程還需花費數月時間,”邁內爾說。
曼徹斯特大學研究人員正在從事另一個“大數據”項目——幫助獨居老人的“神奇地毯”。它看上去與普通地毯沒有什么區別,但裝有內置感應器記錄老人的行動規律。如果有違正常規律,則意味著可能發生意外,“神奇地毯”會發出警報。
科學家們還做了相關衍生實驗,比如在假肢上安裝芯片和感應器,以達到預警效果。
3安全:
助力抓賊反恐斗黑客
在美國加州圣克魯斯市一個地下車庫,一名小偷正在撬車,卻被幾米開外正在一輛車里吃午餐的警察逮了個正著。這名警察并非“碰巧”出現在那里,而是根據一個計算機軟件的推薦在此守株待兔。
過去兩年里,這座城市的警察換班時,都會根據長官和軟件發出的指示外出巡邏。該軟件輸入了警方所有數據,不斷更新,用于計算何時何地可能發生夜盜、搶劫、偷車等犯罪行為,其中三分之二確實發生了。
這一軟件由計算機專家喬治·莫勒和從事犯罪學研究的人類學家杰弗里·布蘭廷漢姆聯合編寫,參照了預測地震余震的程序模式。圣克魯斯警察局副局長史蒂夫·克拉克于2011年偶然得知這一創意,三人共同開展了一個測試項目。他們把圣克魯斯市8年來的犯罪記錄輸入程序,再加上其他潛在相關數據,比如天氣狀況、公園資訊和公交線路等。
“起初,很多人持懷疑態度,包括我自己,”克拉克說,“但數據本身證明其確實有效?!睋榻B,使用犯罪預測系統一年后,夜盜案件減少11%,盜車案件減少8%,破案率大幅提升56%。
目前,圣克魯斯整個警界都在使用犯罪預測系統,所有警察外出巡邏時都配備智能手機和接入預測系統的平板電腦。只要有機會,他們就會進入標識出的案發高概率區域,制止可能的犯罪行為。
莫勒和布蘭廷漢姆后來成立公司,將“預警巡邏”軟件推向全球,僅美國就有十幾個城市的警察局是其用戶,包括洛杉磯、波士頓和芝加哥。近日,克拉克前往英國肯特,指導當地警察局使用這一軟件。
除警察局外,軍隊和情報機構也非常重視數據分析。比如,在搜尋本·拉丹的過程中,“大數據”就發揮了重要作用,正是數據庫分析讓調查人員把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情報界和軍方炙手可熱的軟件供應商,總部設在舊金山一家舊香腸工廠里。不久前,在科技記者評出的全球最具創意的公司中,Splunk名列第5,而谷歌僅列第11位。
“空客A380的渦輪機在單次飛行中提供的數據相當于一個中等規模的計算機中樞,”Splunk產品部高級副總裁圭多·施羅德說。分析渦輪機提供的數據有助于最大程度降低燃油消耗,優化維修間隔期。
“安全領域是‘大數據’應用增長最快的領域之一,”施羅德說。除對付犯罪和恐怖主義外,Splunk的軟件還能查明黑客攻擊等網絡犯罪。
4
個性化服務是“大數據”應用程序魅力所在。比如,如果有人在“臉譜”上表示“喜歡”某款牛仔褲,當他下次進入該店鋪時,就可能收到店主給他發送的同品牌牛仔褲的打折信息??雌饋?,這對零售商和消費者都有好處,但主張保護數據隱私的人卻認為,“大數據”理念其實與“專制獨裁”沒有區別。
為消除人們顧慮,許多公司強調他們收集、儲存、分析數據都是“匿名”,但事實上可能并非如此。在線期刊《科學報道》近期一項研究顯示,每個人有自己的行動模式,95%的人可能被識別。普林斯頓計算機科學家阿爾溫德·納拉亞南在其博客上說,可供分析的數據越多,就越不可能保持“匿名”,識別一個人只要33個字節的信息量。
紐約廣告商奧美的調查顯示,75%受訪者表示不希望企業存儲個人數據,90%反對企業追蹤自己的上網記錄。
在現代社會,一個更加迫切的問題是:人們是否真的愿意接受一個“數字驅動經濟”的世界?在這個世界里,數據分析能預測你的孩子在學校表現如何,他將來適合怎樣的工作,誰有多大幾率犯罪或得癌癥,電視臺和唱片公司能根據預測迎合觀眾或聽眾的口味……但在這個一切都計算好的世界里,創意、靈感和驚喜在哪里?
互聯網哲學家葉夫根尼·莫羅佐夫對許多“大數據”應用程序背后的意識形態提出尖銳批評,警告即將發生“數據暴政”。他提出,那些“大數據”應用程序應當接受獨立審計人定期審查,以防權力濫用。
“大數據”行業巨頭谷歌的一次不經意行為,顯示了人們對“數據暴政”的警惕。谷歌董事長埃里克·施密特說,公司在2010年曾閃過這樣一個玩笑想法:通過數據分析預測股票價格,但后來放棄了,因為公司高管認為,這可能不合法。
但他沒有說,這是不可能的。 ·唐昀·
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25