
我們分析數據的方式在近年來發生了令人矚目的變化。隨著個人電腦和互聯網的出現,可獲取的數據量有了非??捎^的增長。
商業公司擁有TB級的客戶交易數據,政府、學術團體以及私立研究機構同樣擁有各類研究課題的大量檔案和調查數據。從這些海量數據中收集信息(更不用說發現規律)已經成為了一項產業。同時,如何以容易讓人理解和消化的方式呈現這些信息也日益富有挑戰性。
數據分析科學(統計學、計量心理學、計量經濟學、機器學習)的發展一直與數據的爆炸式增長保持同步。遠在個人電腦和互聯網發端之前,學術研究人員就已經開發出了很多新的統計方法,并將其研究成果以論文的形式發表在專業期刊上。這些方法可能需要很多年才能夠被程序員改寫并整合到廣泛用于數據分析的統計軟件中。而如今,新的方法層出不窮。統計研究者經常在人們常訪問的網站上發表新方法和改進的方法,并附上相應的實現代碼。
個人電腦的出現還對我們分析數據的方式產生了另外一種影響。當數據分析需要在大型機上完成的時候,機時非常寶貴難求。分析師們會小心地設定可能用到的所有參數和選項,再讓計算機執行計算。程序運行完畢后,輸出的結果可能長達幾十甚至幾百頁。之后,分析師會仔細篩查整個輸出,去蕪存菁。許多受歡迎的統計軟件正是在這個時期開發出來的。直到現在,統計軟件依然在一定程度上沿襲了這種處理方式。
隨著個人電腦將計算變得廉價且便捷,現代數據分析的方式發生了變化。與過去一次性設置好完整的數據分析過程不同,現在這個過程已經變得高度交互化,每一階段的輸出都可以充當下一階段的輸入。一個典型的數據分析過程的示例見圖1-1。在任何時刻,這個循環都可能在進行著數據變換、缺失值插補、變量增加或刪除,甚至重新執行整個過程。當分析師認為他已經深入地理解了數據,并且可以回答所有能夠回答的相關問題時,這個過程即告結束。
個人電腦的出現(特別是高分辨率顯示器的普及)同樣對理解和呈現分析結果產生了重大影響。一圖勝千言,絕對如此!人類非常擅長通過視覺獲取有用信息?,F代數據分析也日益依賴通過呈現圖形來揭示含義和表達結果。
總而言之,今天的數據分析人士需要從廣泛的數據源(數據庫管理系統、文本文件、統計軟件以及電子表格)獲取數據、將數據片段融合到一起、對數據做清理和標注、用最新的方法進行分析、以有意義有吸引力的圖形化方式展示結果,最后將結果整合成令人感興趣的報告并向利益相關者和公眾發布。通過下面的介紹你會看到, R正是一個適合完成以上目標的理想而又功能全面的軟件。
1.1 為何要使用 R語言?
與起源于貝爾實驗室的S語言類似, R語言也是一種為統計計算和繪圖而生的語言和環境,它是一套開源的數據分析解決方案,由一個龐大且活躍的全球性研究型社區維護。但是,市面上也有許多其他流行的統計和制圖軟件,如Microsoft Excel、 SAS、 IBM SPSS、 Stata以及Minitab。為何偏偏要選擇R?
R有著非常多值得推薦的特性。
多數商業統計軟件價格不菲,投入成千上萬美元都是可能的。而R是免費的!如果你是一位教師或一名學生,好處顯而易見。
R語言是一個全面的統計研究平臺,提供了各式各樣的數據分析技術。幾乎任何類型的數據分析工作皆可在R中完成。
R語言擁有頂尖水準的制圖功能。如果希望復雜數據可視化,那么R擁有最全面且最強大的一系列可用功能。
R語言是一個可進行交互式數據分析和探索的強大平臺。其核心設計理念就是支持圖1-1中所概述的分析方法。舉例來說,任意一個分析步驟的結果均可被輕松保存、操作,并作為進一步分析的輸入。
從多個數據源獲取并將數據轉化為可用的形式,可能是一個富有挑戰性的議題。 R可以輕松地從各種類型的數據源導入數據,包括文本文件、數據庫管理系統、統計軟件,乃至專門的數據倉庫。它同樣可以將數據輸出并寫入到這些系統中。
R是一個無與倫比的平臺,在其上可使用一種簡單而直接的方式編寫新的統計方法。它易于擴展,并為快速編程實現新方法提供了一套十分自然的語言。
R囊括了在其他軟件中尚不可用的、先進的統計計算例程。事實上,新方法的更新速度是以周來計算的。如果你是一位SAS用戶,想象一下每隔幾天就獲得一個新SAS過程的情景。
如果你不想學習一門新的語言,有各式各樣的GUI(Graphical User Interface,圖形用戶界面)工具通過菜單和對話框提供了與R語言同等的功能。
R可運行于多種平臺之上,包括Windows、 UNIX和Mac OS X。這基本上意味著它可以運行于你所能擁有的任何計算機上。(本人曾在偶然間看到過在iPhone上安裝R的教程,讓人佩服,但這也許不是一個好主意。)
圖1-2是展示R語言制圖功能的一個示例。使用一行代碼做出的這張圖,說明了藍領工作、白領工作和專業工作在收入、受教育程度以及職業聲望方面的關系。從專業角度講,這是一幅使用不同的顏色和符號表示不同分組的散點圖矩陣,帶有兩類擬合曲線(線性回歸和局部加權回歸) 、置信橢圓以及兩種對密度的展示(核密度估計和軸須圖)。另外,在每個散點圖中都自動標出了值最大的離群點。如果這些術語對你來說很陌生也不必擔心。我們將在后續各章中陸續談及它們。這里請暫且相信我,它們真的非???。(搞統計的人讀到這里時估計已經垂涎三尺了。)圖1-2主要表明了以下幾點。
受教育程度(education)、收入(income)、職業聲望(prestige)呈線性相關。
就總體而言,藍領工作者有著更低的受教育程度、收入和職業聲望;反之,專業工作者有著更高的受教育程度、收入和職業聲望。白領工作者介于兩者之間。
有趣的例外是,鐵路工程師(RR.engineer)的受教育程度較低,但收入較高,而牧師(minister)的職業聲望高,收入卻較低。
受教育程度和職業聲望(較輕微地)呈現雙峰分布,高值和低值數據多于中間的數據。
重要的是, R能夠讓你以一種簡單而直接的方式創建優雅、信息豐富、高度定制化的圖形。而使用其他統計語言創建類似的圖形不僅費時費力,而且可能根本無法做到。
可惜的是, R語言的學習曲線較為陡峭。因為它的功能非常豐富,所以文檔和幫助文件也相當多。另外,由于許多功能都是由獨立貢獻者編寫的可選模塊提供的,這些文檔可能比較零散而且很難找到。事實上,要掌握R的所有功能,可以說是一項挑戰。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25