熱線電話：13121318867

登錄
首頁大數據時代提升工作效率：我常用的R語言自動化
提升工作效率：我常用的R語言自動化
2021-08-05
收藏

DA：您是如何入行的？

高云：因為我并不是學統計學和計算機專業的，畢業后是在電信運營商做網絡維護和網絡優化相關的工作，這一干就是6年的時間。大家都知道從2009年3G時代以后，隨著移動互聯網的爆發，運營商的移動數據流量也是與日俱增，我剛好負責的就是數據業務的流量監控工作，搭建了一套全網數據流量的監控平臺，研究全網大大小小接口流量的起起落落，也算是大數據的初體驗吧。

近幾年，運營商對于數據價值的探索需求也逐漸旺盛，我們成立了專門的大數據中心，時任的主管也是特別看好我的潛力，希望我能加入到這樣一個專門做數據分析和數據挖掘的團隊中來。也正是在他不斷引領下，我從一個大數據的門外漢，一路走到了今天，所以，說到入行，真的是非常感謝他。

DA：您的工作經歷，目前的工作職責是什么？工作中曾做過的數據分析實例，以及您的職業規劃？

高云：在運營商做大數據分析工作的這段時間里，做過很多基于空間地理的用戶遷徙、商圈人流、用戶的社交網絡以及用戶特征標簽的建模和分析項目。在2015年我加入了一家專注于零售行業的O2O大數據服務的創業公司，擔任數據分析總監的職務，全面負責公司對外的數據分析服務、用戶標簽體系建設和產品優化相關的工作。

在我未來的職業規劃中，數據分析一定是一條主線，做一名專業領域的數據科學家是我最終的目標。所以，在繁忙的工作中，我會要求自己不能停下學習的腳步，無論的數據分析的技術，還是專業領域的行業知識，都有太多需要去探索的東西。

DA：能否給我們講講您在工作中遇到的印象深刻的困難及其背景成因？

高云：其實，任何一個數據分析或者數據挖掘項目的困難，都只是一個暫時的需要跨越的障礙而已，這樣的困難往往是我們不斷學習進步的機會，并不是數據分析師最大的敵人。在我看來，數據分析師工作最大的制約是效率問題。我們往往在常規的數據采集、ETL、數據清洗和規范的報表制作中耗費了大量的時間和精力，而這部分基礎而重要的工作，產生的顯性價值又很低。占用了大量數據分析師時間和精力的同時，制約了大家進一步探索數據、挖掘數據隱含價值以及追求卓越的數據可視化的思考空間。這樣經典的二八現象在數據分析行業內是屢見不鮮的。

DA：如何解決這個問題呢？能否請您向廣大同行分享下思路？

高云：解決這個問題的關鍵在于自動化，這也是目前越來越多先進的數據分析和挖掘工具能夠大行其道的原因所在，無論是SPSS、SAS還是R、Python，甚至是EXCEL，都有足夠的能力將常規的“規定動作”時間壓縮到很小的范圍，讓大家有足夠的時間去完成那些機器無法完成的“人的工作”，而這部分“人的工作”才是數據分析師這個職業存在的最大價值。

具體來說，我們會把數據格式轉換、異常值識別、數據清洗和基本的數據統計分析工作利用R語言作為工具，編寫自動化的R腳本文件實現，甚至直接生成可視化報表的PPT文件。把以前需要好幾天完成的工作，在幾秒內實現，這種感覺還是很COOL的。

分享一些我們在R語言自動化實現過程中用到的擴展包和函數：

plyr

dplyr

reshape2（數據整理）

boxplot.stats函數（異常值檢測）

ggplot2（可視化）

knitr（生成報告）

因此，磨刀不誤砍柴工，希望廣大同行都能通過各種手段把自己從80%的繁瑣、重復勞動中解放出來，釋放更多的價值。

DA：您可否推薦一些平時充電學習專業知識的平臺或途徑？

高云：首選當然是經管之家了，我的大量的視頻、電子書資源都是從論壇中獲得的，這里還想感謝一下廣大的壇友呢。

其它的途徑我主要是看書，畢竟電腦看了一天了，晚上一般喜歡翻一翻紙質的書籍，像O`Rilly出版社發行的很多國外的數據挖掘、機器學習類的書籍質量都是非常高的。另外還有一個比較快速獲得知識和幫助的平臺就是QQ群了，那真是一個高手云集的地方。

DA：您對希望從事數據分析行業的人有哪些建議？

高云：要對數據有熱愛。從事數據分析這個行業有時候的工作時很艱苦的，對著各類數據報表一看就是一天，如果沒有足夠的熱愛，很難有這樣的耐心和毅力去堅持。無論是學習和工作，都要用一種專注甚至是苛刻的態度去做，只有這樣，才能讓我們的分析結論有足夠的說服力，自己才能獲得足夠的信心。

另外，很多剛入門的分析師往往不知道需要學習什么樣的工具，或者是什么工具都想學，但是什么都學的一知半解又無法深入。其實，初期的時候能熟練使用1-2個工具就足夠了，把一個工具用深用精很重要，很多的工具都是觸類旁通的。

最后一點建議是，數據可視化很重要，重要到可以說三遍。在數據規模和信息量爆炸的今天，可視化作為一個最接近用戶的表達手段，有著“最后一公里”的重要價值。一個有趣的數據分析結果，如果沒有一個有吸引力的可視化表達方式，往往就會石沉大海了。而一個獨到的可視化設計，會對一個數據分析的結論有難以估計的加分作用。

DA：您如何看待數據分析師行業的就業前景及未來發展？

高云：粗略的算一下，大家可能感覺周圍的數據分析師很多，學校里相關的專業也是越來越熱門。但落實到每個專業領域中來，優秀的數據分析人才還是非常稀缺的，而數據分析師在不同領域的工作中又有一定的通用性，所以就業和轉行的機會也更多，前景還是非常好的。

DA：平時工作之余都做些什么，有什么特長愛好呢？

高云：因為現在的工作確實比較忙，工作之余其實就是更多的陪伴家人和孩子吧，畢竟她們對我的支持是最大的，也是我最需要感恩的人。愛好的話是足球和三國殺啦，體育鍛煉和腦力鍛煉兼顧吧。說真的，有時候數據分析師的大腦還是需要放松一下的，一直緊繃著的話就會失去很多靈感和創意了。

高云留下了自己的聯系方式，QQ：32323597 郵箱：32323597@qq.com。有問題想要溝通的同學可以在后臺留言哦~

后記：這是“每天一個數據分析師”的第10期采訪，非常感謝受訪的各位老師以及訂閱讀者向我們提出的各種建議，我們期待更多的聲音！我們計劃每天采訪一個數據分析師（覆蓋各行各業），聽TA在從業路上的故事，講TA在工作中遇到的種種困難以及采取的解決方案。歡迎大家踴躍推薦或者自薦。聯系我們請直接在微信留言或發郵件到：adaaday@pinggu.org。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

數據分析 大數據 數據挖掘 R語言 數據可視化 數據清洗 特征 ETL

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇股票數據分析(以中國銀行股票為例)_數據分析師分享
下一篇excel怎么設置密碼保護?Excel文件添加密碼保護教程
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢