小白學數據分析--怎么看待數據處理

本來這算不上一篇文章，但是我仍舊寫了，除了解決一個小問題還要說點其他的關于數據分析的想法，首先先解決一個小問題。
　　第一部分
　　問題描述：處理游戲帳號信息時發現有重復的帳號，比如帳號A有N個重復項，希望留下1個重復帳號，但是要把剩下N-1個刪除重復帳號刪除。具體的原數據（**）模擬如下：

　　而我們希望得到的最終處理數據格式如右側一列（綠色）所示。針對這個處理，其實有很多方法，可以參看小蚊子的《誰說菜鳥不會數據分析》，比如使用條件篩選就能搞定，今天不談這個方法，說說另一種思路。
　　首先我們對于原數據進行排序，怎么排序都OK，重要的是重復項會在一起，如下圖所示：

　　之后我們使用IF和Exact函數嵌套使用，解決這個問題，操作如下：
　　增加一列，叫做標識項，并寫下公式=if(exact(A2,A3),1,2)，關于Exact()和if()函數的使用介紹這里不再累術，自行查閱Excel函數幫助文檔就OK了，具體公式如下圖顯示：

　　這里公式的秘密和為什么不解釋了，估計大家看到這里都明白了，下面我們要繼續操作，解決問題，之后選中第一行，快捷鍵“Crtl+Shift+L”打開自動篩選功能，篩選標識項為“1”的數據，如下圖：

　　之后，選擇這幾行數據，然后刪除，之后打開再次打開篩選，選擇全部，結果數據如下所示：

　　但是到了這樣這一步，其實已經完成了，可是很多人還是有疑問，那些空白行怎么辦啊，我們需要數據都是像最開始的那個綠色的格式最好了，這樣有空白的位置不好，至于這個問題，這里不回答了，大家自己想一想，其實很簡單，非常容易解決。期待大家的答案。
　　第二部分
　　這一部分，其實還是想發一些牢騷和學習數據分析的建議，作為數據分析師，首先是先把數據處理和優化工作做好，當然這之前必須要進行商業理解，把問題搞明白，才能后期把數據提取出來，進而才能借助模型、算法進行數據處理，模型發布，評估，分析，這是一個完整的CRISP-DM，數據處理優化要用去整體流程80%的時間，因此快速有效掌握數據提取，處理方法很關鍵，其意義不僅僅在于效率效能的提升，最關鍵的是鍛煉思維和形成一套自己的方法。
　　你說的有點夸大了吧？
　　很多人會有這個疑問，很正常，大多數情況下，我們喜歡把數據需求明確，然后讓DBA同志幫助我們取數據，解決數據處理過程，但是往往需求理解的差異，導致了后續CRISP-DM全部錯誤，而且相當不容易發現，所以很多時候我們要自己來做，一個DMA同時也要會一點SQL，數據量非常大時自己倒入數據庫，練習一下SQL操作。
　　當然這是適用于那些學過計算機的人，很多DMA是沒怎么學過SQL，因此就會基本上借助Excel、SPSS解決數據處理，這個時候其實非常關鍵，早期我喜歡拿著網上的文檔或者什么寶典來解決問題，發現沒用，因為你看了你也記不住，你也不會用，只有當問題擺在面前時，你才有需求，要學習，但是往往又不能找到合適的答案，所以很多人借助別人力量解決，但是解決完了，你仍舊不會，下次問題擺在你面前，你還是不會。
　　所以，請不要逃避問題，有問題才是你學習Excel，數據處理的最佳時期和機會，不要小看擺渡，如果你能從浩瀚的搜索中找到解決你問題的辦法，這是一種能力，如果借助那個答案，你有新的更好的解決之道這就是提升了。這是一種學習能力，通過問題學習。
　　其二，表述問題，找到自己的習慣。在搜索上如何把自己的問題表述出來，尋找答案，這是你的本事，就像你要求助于他人解決這個問題時，你依然要別人先理解你的需求，才能解決一樣，在這一個問題肯定有很多的辦法來解決，但不是每個辦法都適合你，但是總有一個適合你，因此找到自己解決這種問題的習慣，以后越用越好，融會貫通。
　　其三，你要學會排列組合。這個排列組合不是真的排列組合，其實是說，日常我們在進行數據處理時，基本上80%以上的工作只需要20%左右的函數和方法就可以搞定了，比如vlookup，sumif，countif，if，條件篩選，排序等等，這也是符合冪律分布的。所以，盡管我們面臨不同的問題和需求，但是通過這些公式的嵌套，組合，最后基本上都能解決我們的數據處理和分析需求，而如何優化，組合這就是看你的能力和發揮了，難道你說這不是一種鍛煉嗎？DMA的工作不僅僅是對得出來分析結果進行分析，在這個過程中，你如何應對產生的一系列問題都將有助于你發散思維，解決最后的分析。