熱線電話：13121318867

登錄
首頁精彩閱讀綜述:大數據分析面臨的機遇與挑戰
綜述:大數據分析面臨的機遇與挑戰
2017-11-17
收藏

綜述:大數據分析面臨的機遇與挑戰

數據分析給現代社會帶來了新的機遇與挑戰。一方面，與傳統研究側重于揭示事物的共性不同，大數據研究將有助于人們發現事物的個體特性，并針對每一個體的特性給出個體化的解決方案。同時，大數據研究也將使人們能夠從大量個體的差異變化中，揭示其中存在的難以察覺的規律。另一方面，大數據的海量樣本規模和高維數特征也引入以下顯著特性：數據搜集的偏差性、數據產生的異母體性、計算成本、噪音的累積疊加、假關聯性、外生性，以及測量誤差等等。為了應對這些挑戰，需要引入新的計算和統計方法。

首先，從計算的角度來看，大數據提供的數據量巨大，這會給實施統計計算和最后完成統計估算和檢驗帶來問題。比如，對于一個列數上百萬的矩陣，一次簡單的矩陣求逆操作在計算上都是困難的。該文概括性地介紹了Hadoop分布式文件系統、MapReduce編程模型、云計算、凸優化算法，以及隨機投影技術，以解決海量數據的計算問題。其次，從統計分析的角度來看，大數據經常包含被抽樣個體的大量特征信息，即樣本的個異性和高維性。個異性和高維性給統計分析與計算帶來諸多問題，包括異母體、噪音累積、假相關、內生性。以假相關性為例，高維數會增加發現欺騙性關聯的風險。比如，在人類基因表達數據分析中，學者可能會認為第八對染色體上的某個重要致癌基因（MYC）和Y染色體性別決定基因（SRY）有很強的相關性。但是，這可能僅僅是因為考慮的基因數目太高，以至于有些高相關性的出現只是偶然事件。

該文也為大數據分析提供了新的展望。以高維數據下的統計推斷為例，文中給出了高致信區間內的最稀疏解的一般解，并指出許多傳統的理論所基于的外生性假設是不正確的，尤其可能導致錯誤的統計推斷，并得出錯誤的科學結論。以內生性問題為例，范劍青教授和他的合作者指出，線性回歸模型中的外生性假設在高維數下很可能是不正確的：當考慮的回歸變量數目很大時，其中的一些回歸量（自變量）很有可能和模型的誤差項相關。他們發現，當內生性問題存在時，流行的高維回歸方法（諸如lasso和SCAD）的估計值不具有相合性，即：隨著樣本數變大，估計量和母群體參數的差異不會趨近于零。本文介紹了一種新的、基于廣義矩與高維回歸的方法。這個方法可以克服內生性問題，并給出具有一致性的估計量。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

大數據 數據分析 特征 統計推斷 大數據分析 統計分析 Hadoop 統計計算

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇回歸系列（一）| 怎樣正確地理解線性回歸
下一篇2020美國總統競選大戲開鑼，川普當選的奇跡會再發生嗎？
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢