
大數據分析并不雞肋
在計算機誕生的70年后,單臺計算機的計算性能逼近物理極限,伴隨計算機發展的摩爾定律逐漸失效。在這70年的發展過程中,剛開始是可以用摩爾定律進行準確的描述的,1965年,英特爾創始人之一戈登摩爾在考察計算機硬件的發展規律后,提出了著名的摩爾定律:
該定律認為,同一面積芯片上可容納晶體管的數量,每隔16-24個月將翻一倍,計算性能也將翻一倍。換而言之,也就是每隔16-24個月,單位價格可購買到的計算能力將翻一倍。在隨后的幾十年內,摩爾定律被無數次的被印證。而直到現在,計算機性能已經逼近極限的情況下,摩爾定律似乎已經失效了。
發展的期間伴隨著摩爾定律不斷的生效,在計算機方面同步發展的還有網絡寬帶和物理的存儲容量,半個多世紀以來,存儲器的價格幾乎下降到原來價格的億分之一。
而網絡寬帶的的速度也在不斷的突破極限。
隨著這些物理硬件的升級,計算機領域內便產生了OTT式的技術革新,誕生了分布式計算和量子計算機技術,而這兩者的出現,也必將決定性的改變計算機資源供給端的情況。
分布式計算機技術,已經逐漸成為大數據領域底層IT架構的行業標準,分布式計算可以實現一個計算目標可以調配無限計算資源并予以支持,解決了大數據情境中運算量過大、超出單臺物理機運算承受能力極限的問題,并且同物理計算資源協同調配,為后續的云計算奠定了基礎??陀^ 的講,分布式計算機技術使計算資源趨于無限。
而量子計算機技術將使單體計算能力擁有質的飛躍。但是在量子計算機核心技術尚未突破之時,人類面對呈現爆發式增長的數據束手無策….
在經過這漫長的探索后,人類現在決定先借助分布式計算技術實現新的一輪OTT式技術革新,而此舉將不僅解決了海量數據存儲與計算問題,還有希望幫助人類徹底擺脫計算資源瓶頸的束縛。計算資源無限,世界將會怎樣….
但是從大數據技術的發展現狀來看,真正的難點還是在于底層工具的掌握,由于發展尚處于初級階段,還需要人們掌握大量的底層工具,這條道路因為走得人少所以才會顯得泥濘不堪,只有將基礎工具發展和掌握成熟之后,才可以降低使用者的門檻。
對于我們而言,這條路難么?真的很難!但是是值得我們客服這條路上的困難的,因為收益會非常的劃算,這條路的難處在于要掌握很多底層工具,為什么?因為走這條路的人少,現在還是一條泥巴路,很難走,但是為什么是值得我們克服困難也要走下去呢,是因為只要量子計算機不出現、隨著摩爾定律的失效、數據量還在增加,大量過路的需求會催生一條又一條高速公路,然后鋪路的大公司設卡收稅,泥巴路遲早會變成高速公路,但只要你先過去,就能看到別人看不到的風景。
從計算機由DOS系統到桌面系統,Python機器學習由源碼到算法庫,不一直都是這樣么。
數據革命的本質
大數據分析技術有價值、數據分析技術更有價值,那整個數據科學知識內容體系中,最有價值的到底是什么?
如果從發現技術的角度看待問題確實很有意思,那我們不妨再來探討一個問題,那就是從技術層面而言(非工作是否好找的角度),數據科學中最有價值的技術模塊是哪個?
人工智能是數據養育的智能,其決策的核心是算法,人工智能的發展與十八世紀工業革命通過機器生產代替手工勞動從而釋放人類的勞動力類似,數據智能將通過參與、代替人類決策的方式,釋放人類腦力。而機器學習就是提供人工智能決策的算法核心。
機器學習算法的核心用途是挖掘事物運行內在邏輯和規律,就是把數據作為接受外部信息形式,用數據還原外部事物的基本屬性和運行狀態,用機器學習算法對其規律進行挖掘,還原客觀規律。再應用規律輔助決策。
機器學習可以使得人工智能在人類基礎重復決策領域代替人類參與決策。
算法的核心方法論,是取法其上,僅得為中,數據分析核心價值要有技術核心價值這桿大旗;不管小數據還是大數據,都是重分析。而伴隨著Python的星期,催生出了進一步完善的基礎設施,Python依然成為了標準的工具。
而Python最核心的技能就可以說是利用眾多強大的算法庫進行算法建模分析
數據、算法、計算能力這三架馬車所推動的人工智能技術發展,是否已經遇到了瓶頸
2018年1月我國國家標準化管理委員會頒布的《人工智能標準化白皮書》對人工智能學科的基本思想和內容作出了解釋。認為人工智能應該是圍繞智能活動而構造的人工系統,是一項知識的工程,是機器模仿人類利用知識完成一定行為的過程。
相對來說我國的人工智能的起步還是較晚,人工智能的發展階段可以分為三個階段,第一階段是從20世紀50年代—80年代,在這一階段人工智能剛誕生,但由于很多事物不能形式化表達,建立的模型存在一定的局限性。第二階段是從20世紀80年代—90年代,專家系統得到快速發展,數學模型有重大突破,但由于專家系統在知識獲取等方面的不足,人工智能的發展又一次進入低谷期。第三階段是從21世紀初—至今,隨著大數據的積聚、理論算法的革新、計算能力的提升,人工智能在很多應用領域取得了突破性進展, 迎來了又一個繁榮時期。
根據人工智能的發展定義,以及國家頒布的《人工智能白皮書》,人工智能可以分為兩種,強人工智能和弱人工智能。
弱人工智能是并不能真正實現推理和解決問題的智能機器,這些機器表面看像是智能的,但是并不真正擁有智能,也不會有自主意識。但是這仍是目前的主流研究仍然集中于弱人工智能,并取得了顯著進步,如語音識別、圖像處理和物體分割、機器翻譯等方面取得了重大突破,甚至可以接近或超越人類水平。
強人工智能是真正能思維的智能機器,并且認為這樣的機器是有知覺的和 自我意識的,這類機器可分為類人與非類人兩大類。從一般意義來說,達到人類水平的、能夠自適應地應對外界環境挑戰的、 具有自我意識的人工智能稱為“通用人工智能”、“強人工智能”或“類人智能”
一般來說,在我們認為強人工智能的時代已經來臨,只是尚未流行起來,但這時候,卻還有一些有意思的觀點,他們持反對的聲音,認為人工不智能或者說是人工智障。
他們認為當我們在開車的時候,大腦在飛速的處理各種信息:交通信號、標志物、路面的井蓋、積水;看到馬路中央有一只狗在過馬路時,我們會踩剎車;看到中央有一只鳥,我們會判斷鳥會快速飛走,不用減速;如果是塑料袋,我們可以直接壓過去;如果是大石頭,我們就需要避讓。這些都是我們通過經驗的累積以及生活常識構成的。但是,人工智能卻做不到這些。
目前人們所研究的人工智能是“狹義”人工智能?!罢嬲摹比斯ぶ悄苄枰軌蚶斫馐澄镏g的因果關系,比如警方在路上設置的錐標,哪怕是倒了,或是被壓扁了,也要能夠被識別出來。但目前的圖形識別能力,哪怕是把障礙物換個角度,計算機識別起來都會很困難。而“狹義”人工智能走的是機器學習路線,換句話說,計算機會把路上所有物體(包括夠、其他車輛、標志物、行人、塑料袋、石頭等)都簡單的看做是障礙物,同時計算和預測這些障礙物的移動路線,判斷是否會和汽車的路線發生沖突,然后執行相應的動作。
那么問題來了……
當計算機無法理解物體的時候,也就意味著不可能100%準確預測物體的移動軌跡。比如,馬路中央的狗。你很難預測它下一秒的位置,即使它目前正在向前狂奔。如果馬路中央是一個孩子呢?同時,讓計算機識別路邊的交通指示牌也是一件十分困難的事情。當指示牌有破損、遮擋物等等,都會影響計算機的識別。
所以,目前的人工智能都屬于“狹義”的人工智能,它的核心是基于大數據進行的學習。但在瞬息萬變的現實世界里,由于計算機無法真正理解事物的相互關系,因此并不能處理出現的意外情況。
我們可以將無人駕駛分為五個級別:
就目前來看,我們距離第五個級別的無人駕駛的距離還有非常遙遠的一條道路要走,當然這條道路的未來,并沒有人會知道是什么樣子的。
在我看來,隨著技術的發展,人工智能這條道路并非是走不下去的,只是這條道路比較困難,而且并不是說在人工智能完全達到強人工智能的時候才能造福人類,目前人工智能已經用于我們身邊的多個領域,并且在不斷的幫助我們,我們可以通過人工智能不斷的幫助我們完善人工智能,達成一個不斷的循環,只是需要很多對數據科學領域感興趣的人,來不斷的完善它們。
希望你看完這篇文章能夠有所收獲,如果有一些想法,希望可以一起討論一下,謝謝。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25