
大數據應用方向思考
一、 警惕大數據過熱
1.1 過熱產生盲目性
國內大數據的宣傳早已過熱,很多區縣級政府也在考慮成立大數據局,政府對大數據熱幾乎沒有抵抗力,企業沒有緊跟就對了,在大數據高潮中反省政府的大數據行為、冷靜一下頭腦是有益的,畢竟大數據應用是一個經濟問題,一窩蜂地大數據會使人犯“大煉鋼鐵”一類的錯誤。
1.2 大數據應用效益存在問題
大數據最積極的推動者是政府,但是政府工作如何從大數據應用中獲益一直沒有清晰的答案,有效的大數據應用集中于互聯網企業和金融領域并非政府工作,迄今一本像樣的政府大數據應用案例都編寫不出來,這種情況下推力政府大數據應用會帶有很大的盲目性,這是技術導向而不是問題導向,技術導向必然會造成浪費。
1.3 大數據不是包治百病的神藥
現在對大數據的宣傳已經遠遠勝過對城市問題的探討,問題還沒搞清藥方就先開出來了,大數據藥方再靈也不可能解決自己都沒有診斷清楚的問題。任何技術都有其長處和短處,大數據也是一樣,都有其能解決與不能解決的問題,各地政府首先要明確要問題是什么,然后再審視大數據技術能否發揮作用,不能反過來先定大數據再去找問題,政府工作明確目標永遠比搞清技術更重要。
二、 大數據源自互聯網的推動
2.1 大數據是如何產生的?
任何有社會影響力的新名詞都不是望文生義可以解釋的,這些名詞都被賦予了成語含義,“大數據”便是其一。歷史上超大規模的數據很多卻不被稱為大數據,是因為單純數據量增長并沒有形成巨大社會影響力。
大數據概念是大的數據量與現代信息技術環境相結合涌現的結果,因此引發了巨大的效益機會,“大數據”一詞的發明與宣傳是為了抓住這個新機會。
2.2 沒有互聯網便沒有大數據
任何資源的價值展現都離不開特定的環境,互聯網前的海量數據因缺少規?;纳鐣枚粸槿藗冎匾?,互聯網創造了大數據應用的規?;h境,大數據應用成功的案例大都是在互聯網上發生的,互聯網業務提供了數據,互聯網企業開發了處理軟件,互聯網企業的創新帶來了大數據應用的活躍,沒有互聯網便沒有今天的大數據產業。
2.3大數據是“大智移云物”的共同產物
如果沒有汽車與高速公路石油產業不會那么重要,同樣,沒有互聯網、云計算、物聯網、移動終端與人工智能組合的環境大數據也沒那么重要。大數據的價值并非與生俱來而是應用創新之結果,價值是由技術組合創新涌現出來的。離開環境的支持大數據毫無價值,就像離開了身體的手不再有手的功能一樣。
三、 傳統大數據思維局限于支持決策
3.1 傳統的大數據應用理念
人們對事物的想象力很容易受所用詞匯的暗示,“大數據”容易暗示人們關注數據規模而忽略信息技術背境的巨大變化所涌現的新機會。政府官員的工作經歷很容易把大數據應用想象為只是統計應用在數量上的升級,大數據的作用是提取信息,信息的作用是改進決策,數據多意味著信息多,信息越多決策就越準確。在不少干部的理解中,部門數據整合起來就是大數據。
3.2 兩種數據使用方向:支持決策與支持操作
在政府的工作中,數據對領導層的作用主要是改進決策,但基層工作人員不需要決策,數據是用來直接操作的。政府公共服務業務主要是操作問題,服務是規范的數據處理,基層工作人員只是按章辦事不需要決策分析。使用信息技術是為了提高操作服務的效率。發改委等十部門提出的“一號一窗一網”的服務要求所要解決的只是提高操作的效率。改進決策與改進操作是大數據兩種不同的使用方向。
3.3 專家(人腦)與系統(電腦)使用大數據的特點
支持決策的數據應用是面向專家(包括領導)的,專家需要從數據中提取信息,以信息支持決策,從數據中領悟信息是人腦獨有的本領,但不同人信息領悟力并不一致,同樣的數據不同人領悟的信息不同,對決策的影響也不同,應用結果的不確定性是專家使用大數據的特點。。
支持操作的數據應用不能有不確定性,操作系統的數據應用是由系統控制的,操作按確定的規則進行,沒有自由量裁的可能,數據應用結果由軟件決定,這種應用是電腦在使用數據,電腦不懂信息只會嚴格依數據操作,這種使用數據的模式保證了大規模業務行為的一致性。
3.4 政府不能忽略操作型大數據應用
政府工作存在著兩種大數據應用:支持決策與支持操作,但是在多數政府官員只想著大數據支持決策而想不到改進服務操作更有效益。大部分的政府服務的精細化改進并不是決策層次上改進,而是操作層次上的改進,政府提出的“一號一窗一網”式服務關鍵是提高操作的效率,實踐證明操作的優化的改進空間更大,大數據在提高政府決策水平上的成效往往不如提高操作效率成效明顯。
四、 大數據決策的局限性
4.1 大數據小數據的不同來源
以數據量來劃分大數據與小數據會忽略兩種數據更實質的差別,從數據產生的過程看,小數據是經人觸摸過的數據,包括人工填報或更新、核對等。大數據是機器自動記錄的、未經人觸摸過數據。
小數據來自業務流程中的人工填報、統計調查等渠道,統計調查是可以根據決策信息的需要專門設計的,為降低成本統計經常采用抽樣調查的方法。
大數據來自自動化業務運行的副產品,出于成本的考慮,政府不大可能專為收集信息而設計大數據收集鏈,為決策服務大數據只能利用業務系統產生的數據副產品,大數據的收集成本是由業務系統承擔的。大數據的來源受到業務系統種類的限制,不是所有的信息需求都能找到恰當的數據源。
4.2 大數據適合小決策而不適合大決策
大數據適合在狹窄范圍內對具體事務決策而不適合于大范圍的決策。因為大數據的形成包含著先天的局限性,很多影響重大決策的信息恰恰是無法數字化的,例如國內外形勢、技術創新、隊伍士氣、重大事件(類似美國9.11 事件)都無法數字化,可數字化的現象只是小部分,以為靠數據決策就能更全面也是一種誤解。政府重大決策需要考慮各方面的平衡,局部領域的大數據僅適合局部領域的決策,不適合面向全局的政府決策,精細化與全面性是不可得兼的。
4.3 改進政府操作的大數據應用
政府的大數據應用不能只關注決策應用,改進操作的大數據應用往往能夠獲得更好的效益。政府對公眾的服務主要使用的還是以小數據為中心的數據庫,但是融入現場服務數據的應用可以將服務提高到大數據的層次上并增加智能化的應用。對政府基層工作人員的支持現場化、連機化,通過云平臺與實時通信能顯著提高一線人員的工作效率,是提高政府基層服務的智能化的重要措施,以改進服務操作效率的智能大數據應用會有更大的成效。
五、 沒有人腦參與系統才能高效與智能
5.1 人腦使用數據模式的效率制約
為人腦決策使用的大數據應用模式存在兩點不足:一是效率上不去,大數據分析結果一旦交付大數據應用就結束了,無法形成連續服務型業務,信息的進一步應用是領導的事情,與大數據處理無關了,人腦決策的慢節奏抵消了大數據快處理的價值。
其次是大數據信息決策的效果的不確定性,決策質量與領導人的知識、思維方式、決策風格密切相關,決策效果又與執行團隊的能力相關,涉及的不確定因素太多。人腦使用數據的模式無法實現數據應用效果的確定性。
5.2 電腦使用數據模式的效率優勢
電腦使用數據的模式排除了人腦的參與,系統完全是由事先編寫的軟件直接處理數據,排除了人腦介入有兩點好處:一是運行速度快,信息技術的速度優勢得以充分發揮;二是保證了結果的確定性,系統的行為是可預測的,這將有利于系統可成為可組合、可疊加的功能模塊,能夠被集成為更復雜的系統。
5.3 智能大數據應用可形成連續性業務
排除人腦參與的數據應用模式是信息技術的自動化應用,這種模式可綜合使用各種技術資源(包括云平臺、物聯網、移動終端、人工智能等等)建立高速、流暢連續型服務,進入智能服務的新階段,常見的互聯網搜索、電子商務、移動支付、摩拜單車、螞蟻金服無一不是這類的智能大數據應用,這種持續的智能大數據服務更受公眾歡迎、社會影響力也更大。
六、 智能大數據應用的發展空間
6.1 所有的智能應用都是大數據應用
大數據是機器與機器對話的語言,只有機器與機器的高速對話才能產生如此規模的大數據。物聯網、云平臺、寬帶網、移動終端等設施要發揮作用都要依賴機器與機器的對話,隨著信息技術的大發展,機器與機器的對話速度越來越快、范圍越來越廣、規模越來越大,系統也越來越智能化,所有的智能數據應用都屬于大數據的應用范圍。
6.2 智能化的作用是提高執行的效果
雖然大數據可以用于改進決策,但智能化的目標是提高執行的效果。計算機系統的作用是使規范性、可重復的工作做的更快。對于需要創造性的、非重復性的工作信息技術是依然無能為力的,人們發現幾十年來計算機對于人腦決策能力的提高始終不大,智能化應用機會還是集中在對規范業務的改進,規范業務是確定性的服務,遠比充滿不確定性的決策業務更能讓計算機發揮作用。
6.3 操作型大數據應用的智能化趨勢
以提高執行效率為目標的大數據應用將向智能化發展,以互聯網為基層的現代信息技術的大發展已經為服務的智能化創造力良好的條件,早期由于通信與網絡能力的限制只能在一臺設備上存儲自動處理系統被稱為自動化處理階段,今天自動處理系統可以綜合應用網絡通信、云平臺數據與軟件、物聯網感知數據與機器學習來實現更有效的自動管理,則被稱為智能化服務階段,排除了人腦參與的大數據應用進入智能化服務沒有任何障礙,大數據應用智能化成為必然趨勢。
七、 智能大數據應用的活力
7.1 鮮活的數據
智能化應用中的大數據資源與信息決策中的數據資源的重大不同在于前者是動態形成的,其數據環境是不斷變化、不斷更新的,很多數據是在運行中自動生成的,數據資源與智能系統共生,這種數據資源很難轉讓,數據與服務系統是統一的生命體不能單獨存在的,離開了系統的數據可以用來分析但失去了原來的意義,如同離開了人體的手再也沒有原來的功能了。
7.2 實時的處理
在智能系統中的大數據應用是實時處理,面向信息決策中的大數據應用是批處理。實時處理能夠確保及時性,這對于提高服務效率、保持業務的連續性很重要,現在強調“一號一窗一網”式的為民辦事離不開對數據的實時處理。而信息決策類大數據應用則并不需要這種高效。
7.3 持續高效的服務
智能化的大數據應用排除了人腦的干預,全部流程都是由電腦對電腦一氣呵成,這樣就能夠達到很高的運行效率,而這是智能化系統巨大的優勢,也是智能服務系統得以生存的原因,不論是搜索、購物還是其它自動化的服務,人的耐心都是很有限的,處理慢一點人們就會棄之而去。在信息決策大數據應用的結果是供人腦一次性使用的,處理速度就不那么重要了。
7.4 不斷積累的智慧
能夠不斷積累智慧的業務更有活力,易于修改是以軟件為基礎的業務的極大優點,這使得軟件系統成為積累智慧最方便的工具,信息系統的高速發展也得益于系統智慧積累的能力。一項可持續的智能化業務系統始終處于不停的改進、完善與擴展之中,不斷推出新版本的過程是智慧積累的過程,智慧的不斷積累增添了系統的服務能力與可持續性。
信息決策大數據應用則不具有這一優勢,其業務不連續很難推出一個又一個的新版本,智慧積累效率就慢多了。
八、 小數據服務決定大數據中心的生存
8.1 數據資源的時效性
數據資源像蔬菜一樣有保鮮期,極少有越老越值錢的數據。數據集中存儲很容易,由此而來的數據質量維護卻是一大難題。數據生成得快貶值也快,很多數據往往還來不及處理數據就失效了,反而是那些變化稍慢、穩定期稍長的數據容易得到較多用戶且服務也容易開展,這類數據大部分是小數據。
不同的數據使用方式對數據質量有不同的要求,面向操作的應用則對數據質量非常敏感,例如證照庫若不能及時更新就無法使用。信息決策類應用對數據的敏感性會差一些,大數據中心應當使數據的時效性與應用需求同步,要根據需求的價值有重點有選擇地組織好數據質量的維護。
8.2 大數據交易中心的困難
大數據交易中心與成為建設熱點,在大數據應用剛剛開始,人們還沒搞清大數據交易是什么概念時就建交易中心實在太早了。
實時服務的智能大數據應用的數據是鮮活的、是服務中自動生成的動態數據,要交易的是動態數據流還是截取的靜態數據,動態的大數據交易很難,不僅談判難處理也難,用戶需要建立動態數據的實時處理系統。
靜態的大數據交易更可行一些,但數據資源與應用需求并不容易匹配,這將會限制交易數的增長,另一困難是隱私權保護問題,數據需要脫敏,未脫敏的數據交易會受到限制,交易中心將長期面對交易稀缺的局面,經營很不容易。
8.3 小數據服務需要補課
發達國家是在小數據充分應用之后才開始應用大數據,國內是在小數據應用還很不足時跨越式應用大數據。小數據應用補課是各地大數據中心必須重視的問題。要看到越是簡單的東西應用面越廣,小數據的應用空間比大數據大得多,尤其是整合后的小數據服務,極可能成為的數據中心最火的業務。
政府服務的精細化依賴的主要是小數據,把小數據的整合服務做好,大數據中心的工作即完成了90%,千萬不能輕視小數據服務,大數據中心的立身之本恰恰是小數據整合服務。
8.4 大數據中心的經濟價值
大數據中心的生存本質上是一個經濟問題,人們想做交易中心也是希望能夠在經濟上更節約、更有效益,但是效益的基礎是應用規模,只有大量重復性、相似性的工作才有可能利用平臺與工具來提高服務效率創造用戶價值,目前小數據服務更能夠滿足規模經營的條件。
政府公共服務的支柱還是小數據,單獨成規模的大數據服務不多,各種數據資源的綜合使用會有更大的創新機會,地理數據與政府服務相結合、推動政府服務的連線化動態化可能提升用戶價值,大數據中心要發展必須全力創造用戶價值,唯有用戶價值才能支撐大數據中心生存。
九、 拓展視野,推動大數據應用創新
9.1理念創新,積極宣傳智能大數據應用
首先要拓展大數據應用理念,不能將大數據應用局限在政府信息決策的狹窄領域之中,而要看到智能大數據應用的廣泛空間,將智能大數據應用與大眾創業萬眾創新結合起來,將一切智能化應用都歸入大數據應用的范圍,大數據概念越廣闊應用越繁榮。
利用大數據改善政府決策是大數據應用的重要方面,過去已強調得很多了,現在需要強調的是政府公共服務的智能化、精細化。大數據不僅能改善決策還能改善服務,改善服務有著更廣闊的發展空間,公眾的獲得感更好。
9.2 為大數據應用創造良好的基礎環境
對大數據應用最給力的推動是提供優良的通信環境和完善的信息基礎設施。大數據應用的基礎是超強的通信能力,通信能力影響全社會大數據應用的成本,包括用戶的時間成本與服務商的開發與服務成本,降低通信成本是對大數據應用創新極大的支持,土壤肥沃莊稼才能茂盛。
政府數據開放是推動大數據應用的措施之一,可為大數據應用帶來示范效果,政府要鼓勵企業利用政府大數據開展增值服務,使更多缺乏大數據處理能力的公眾也能從政府數據開放中獲益。
9.3 鼓勵社會大數據應用的自組織創新
大數據應用是一項創新,政府不能只從政府決策的視角來引導大數據應用方向,而要從方便公眾受益的視角推動智能化的大數據應用,要鼓勵社會各界智能化大數據應用的合作與自組織創新,好服務都是各種應用技術組合創新的結果,政府宜推動智慧城市大數據應用的互操作,降低不同技術合作創新的成本來促進應用創新的繁榮。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25