數據分析工作常見的七種錯誤及規避技巧

這在大多數情況下是正確的,但是對于數據科學家而言,犯錯誤能夠幫助他們發現新的數據發展趨勢和找到數據的更多模式。說到這兒,有一點很重要:要明白數據科學家有一個非常邊緣的錯誤。數據科學家是經過大量考察后才被錄用的，錄用成本很高。組織是不能承受和忽視數據科學家不好的數據實踐和重復錯誤的成本的。數據科學的錯誤和不好的數據實踐會浪費數據科學家的職業生涯。數據科學家追蹤所有實驗數據是至關重要的,從錯誤中吸取教訓,避免在未來數據科學項目中犯錯。

福爾摩斯有一句名言是如何定義偵探的,而數據科學家在商業中的角色就類似偵探。

“我是福爾摩斯，我的工作就是發現別人不知道的?！?/span>

企業要想保持競爭力,它必須比大數據分析做的更多。不去評估他們手中的數據質量，他們想要的結果,他們預計從這種數據分析中獲得多少利潤， 這將很難正確地找出哪些數據科學項目能夠盈利,哪些不能。當發生數據科學錯誤時——一次是可以接受的——考慮到有一個學習曲線,但是如果這些錯誤發生在兩次以上,這會增加企業成本。

在Python中學習數據科學，成為企業數據科學家。

避免常見的數據科學錯誤：

1、相關關系和因果關系之間的混亂

對于每個數據科學家來說，相關性和因果關系的錯誤會導致成本事件，最好的例子是《魔鬼經濟學》的分析,關于因果關系的相關性錯誤，導致伊利諾斯州給本州的學生發書，因為根據分析顯示家里有書的學生在學校能直接考的更高分。進一步分析顯示,在家里有幾本書的學生在學業上能表現的更好,即使他們從來沒有讀過這些書。

這改變了之前的假設和洞察：父母通常買書的家庭，能營造愉快的學習環境。

大部分的數據科學家在處理大數據時假設相關關系直接影響因果關系。使用大數據來理解兩個變量之間的相關性通常是一個很好的實踐方法,但是,總是使用“因果”類比可能導致虛假的預測和無效的決定。要想實現利用大數據的最好效果,數據科學家必須理解相關關系和根源的區別。關聯往往是指同時觀察X和Y的變化，而因果關系意味著X導致Y。在數據科學，這是兩個完全不同的事情,但是許多數據科學家往往忽視了它們的區別?；谙嚓P性的決定可能足以采取行動,我們不需要知道原因,但這還是完全依賴于數據的類型和要解決的問題。

每位數據科學家都必須懂得——“數據科學中相關關系不是因果關系”。如果兩個關系出現彼此相關的情況,也不意味著是一個導致了另一個的產生。

2、沒有選擇合適的可視化工具

大部分的數據科學家專心學習于分析的技術方面。他們不能通過使用不同的可視化技術理解數據，即那些可以令他們更快獲得洞察力的技術。如果數據科學家不能選擇合適的可視化發展模型，監控探索性數據分析和表示結果，那么即使是最好的機器學習模型，它的價值也會被稀釋。事實上,許多數據科學家根據他們的審美選擇圖表類型,而不是考慮數據集的特征。這個可以通過定義可視化的目標避免。

即使數據科學家開發了一個最優秀和最好的機器學習模型，它也不會大叫說“尤里卡”——所有這些所需要的是結果的有效可視化，可以理解數據模式的不同，和意識到它的存在可以被利用來獲得商業成果。常言道“一張圖片勝過1000個單詞?！薄獢祿茖W家不僅要熟悉自己常用的數據可視化工具,也要理解數據有效可視化的原理，用令人信服的方式獲得結果。

解決任何數據科學問題的至關重要一步,就是要獲得該數據是關于什么的洞察力,通過豐富的可視化表達，可以形成分析基礎和建立相應模型。

3、沒有選擇適當的模型-驗證周期

科學家認為，建立了一個成功的機器學習模型，就是獲得了最大程度的成功。但是，這只是成功了一半，它必須要確保模型的預測發揮作用。許多數據科學家經常忘記或者傾向性的忽視這樣的事實，就是他們的數據必須在指定的時間間隔進行反復驗證。一些數據科學家經常犯的一個普遍性錯誤：如果和觀察到的數據吻合，就認為預測模型是理想的。已建立的模型的預測效果可以因為模型的關系在不斷變化而瞬間消失。為了避免這種情況,數據科學家最好的解決方式就是每個小時都對含有新數據的數據模型進行評分，或者基于模型的關系變化快慢逐日逐月評分。

由于幾個因素，模型的預測能力往往會變弱,因此數據科學家需要確定一個常數，用以確保模型的預測能力不能低于可接受的水平。有實例即數據科學家可以重建數據模型。能建立幾個模型和解釋變量的分布總是更好的，而不是考慮單個模型是最好的。

為了保留已建模型的預測效果和有效性，選擇迭代周期是非常重要的，如果做不到，可能會導致錯誤的結果。

4、無問題/計劃的分析

數據科學協會主席Michael Walker說： “數據科學的最高級用途就是設計實驗,提出正確的問題和收集正確的數據集,一切工作都要根據科學的標準。然后你將獲得結果，并解釋它?！?/span>

數據科學是一個結構化的過程,以明確的目標開始，隨后出現一些假設的問題,最終實現我們的目標。數據科學家往往站在數據之上而不考慮那些需要分析回答的問題。數據科學項目必須要有項目目標和完美的建模目標。數據科學家們如果不知道他們想要什么——最終得到的分析結果將會是他們不想要的。

大多數數據科學項目最終是回答“是什么”的問題,這是因為數據科學家通過手頭的問題作分析而不遵循做分析的理想路徑。數據科學是使用大數據回答所有關于“為什么”的問題。數據科學家應該通過整合以前未被整合的數據集，主動分析給與的數據集，回答以前沒人解答的問題。

為了避免這種情況,數據科學家應該集中精力獲得正確的分析結果，這可以通過明確實驗，變量和數據準確性和清晰明白他們想要從數據中獲得什么實現。這將簡化以往通過滿足假設的統計方法來回答商業問題的過程。引用伏爾泰的一句話——“判斷一個人，是通過他的問題而不是他的答案?！薄却_定明確的問題是及其重要的，能夠實現任何企業的數據科學目標。

5、僅關心數據

根據博思艾倫咨詢公司的數據科學家Kirk Borne，“人們忘記在數據的使用，保護以及統計產生的問題如認為相關關系就是因果關系會產生倫理問題。人們忘記了如果你處理的數據足夠長，它就會告訴你任何事，如果你有大量的數據，那么你就可以找到相關關系。如果人們擁有大數據他們會相信他們看到的任何事情”。

數據科學家常常因為得到來自多個數據源的數據而興奮,并開始創建圖表和可視化來做分析報告，忽視發展所需的商業智慧。這對任何組織來說都是危險的事情。數據科學家經常給與數據太多決策制定的權力。他們不夠重視發展自身商業智慧，不明白分析如何令企業獲益。數據科學家應該不僅僅讓數據說話，而且善于運用自身的智慧。數據應該是影響決策的因素而不是數據科學項目決策制定的最終聲音。企業雇傭的數據科學家應該是可以將領域知識和技術特長結合起來的，這是避免錯誤的理想情況。

6、忽視可能性

數據科學家經常傾向性忘記方案的可能性，這將導致作出更多的錯誤決策。數據科學家經常犯錯，因為他們經常說，如果企業采取了X操作一定會實現Y目標。對于特定的問題這沒有唯一的答案，因此要確認數據科學家從不同可能性中所做的選擇。對指定問題存在不止一個可能性，它們在某種程度是不確定的。情景規劃和可能性理論是數據科學的兩個基本核心，不應該被忽視，應該用以確認決策制定的準確性頻率。

7、建立一個錯誤人口數量的模型

如果一個數據項目的目的是建立一個客戶影響力模式的模型，但是他們僅僅考慮那些具有高度影響力的客戶的行為數據，這不是對的做法。建立該模型不僅要考慮那些具有高度影響力的客戶的行為數據，也要考慮那些不怎么有影響力但是具有潛在影響力的客戶的行為數據。低估任何一邊人口的預測力量都可能導致模型的傾斜或者一些重要變量的重要性下降。

這些都是數據科學家在做數據科學時常見的錯誤。如果你能想到的任何其他常見的數據科學錯誤,我們很樂意在下面的評論聽到你的想法。