如何研究學習一個機器學習算法?

機器學習算法的運行實驗，會使你對于不同類型問題得出的實驗結論，并對實驗結論與算法參數兩者的因果關系有一個直觀認識。

在這篇文章中，你將會知道怎么研究學習一個機器學習算法。你將會學到5個簡單步驟，你可以用來設計和完成你的第一個機器學習算法實驗

你會發現機器學習實驗不光是學者們的專利，你也可以；你也會知道實驗是通往精通的必經之路，因為你可以從經驗中學到因果關系的知識， 這是其它地方學不到的。

什么是研究機器學習算法

當研究一個機器學習算法的時候，你的目標是找到可得到好結果的機器算法行為，這些結果是可以推廣到多個問題或者多個類型的問題上。

你通過對算法狀態做系統研究來研究學習機器學習算法。這項工作通過設計和運行可控實驗來完成

一旦你完成了一項實驗，你可以對結論作出解釋和提交。這些結論會讓你得以管窺在算法變化中因果關系。這就是算法行為和你獲得的結論間的關系。

怎樣研究學習機器學習算法

在這一部分，我們將學到5個簡單的步驟，你可以通過它來研究學習一個機器算法

1.選擇一個算法

選擇一個你有疑問的算法

這個算法可能是你正在某個問題上應用的，或者你發現在其他環境中表現很好，將來你想使用

就實驗的意圖來說，使用現成的算法是有幫助的。這會給你一個底線：存在bug幾率最低

自己實現一個算法可能是了解算法過程的一個好的方式，但是，實驗期間，會引入額外的變量，比如bug，和大量必須為算法所做的微觀決策

2.確定一個問題

你必須有一個你試圖尋找答案的研究問題。問題越明確，問題越有用

給出的示例問題包括以下幾個方面：

KNN算法中，作為樣本空間中的一部分的K值在增大時有什么影響？

在SVM算法中，選擇不同的核函數在二分類問題上有什么影響 ？

在二分類問題中，邏輯回歸上的不同參數的縮放有什么影響 ？

在隨機森林模型中，在訓練集上增加任意屬性對在分類準確性上有什么影響？

針對算法，設計你想回答的問題。仔細考慮，然后列出5個逐漸演變的問題，并且深入推敲那個最精確的

3.設計實驗

從你的問題中挑選出關鍵元素然后組成你的實驗內容。 例如，拿上面的示例問題為例：“二元分類問題中邏輯回歸上的不同的參數縮放有什么影響？”

你從這個問題中挑出來用來設計實驗的元素是：

屬性縮放法：你可以采用像正態化、標準化，將某一屬性提升至乘方、取對數等方法

邏輯回歸：你想使用哪種已經實現的邏輯回歸。

二元分類問題：存在數值屬性不同的二分類問題標準。需要準備多種問題，其中一些問題的規模是相同的（像電離層），然而其他一些問題的屬性有不同的縮放值（像糖尿病問題）。

性能： 類似分類準確性的模型性能分數是需要的

花時間仔細挑選你問題中的組成元素以便為你的問題給出最佳解答。

4. 進行試驗并且報告你的結論

完成你的實驗

如果算法是隨機的，你需要多次重復實驗操作并且記錄一個平均數和標準偏差

如果你試圖尋找在不同實驗（比如帶有不同的參數）之間結果的差異，你可能想要使用一種統計工具來標明差異是否統計上顯著的（就像學生的t檢驗）

一些工具像R和scikit-learn/SciPy完成這些類型的實驗，但是你需要把它們組合在一起，并且為實驗寫腳本。其他工具像Weka帶有圖形用戶界面，你所使用的工具不要影響問題和你實驗設計的嚴密

總結你的實驗結論。你可能想使用圖表。單獨呈現結果是不夠的，他們只是數字。你必須將數字和問題聯系起來，并且通過你的實驗設計提取出它們的意義

對實驗問題來說，實驗結果又暗示著什么呢？

保持懷疑的態度。你的結論上有留什么樣的漏洞和局限呢。不要逃避這一部分。知道局限性和知道實驗結果一樣重要

5. 重復

重復操作

繼續研究你選擇的算法。你甚至想要重復帶有不同參數或者不同的測試數據集的同一個實驗。你可能想要處理你試驗中的局限性

不要只停留在一個算法上，開始建立知識體系和對算法的直覺

通過使用一些簡單工具，提出好的問題，保持嚴謹和懷疑的態度，你對機器算法行為的理解很快就會到達世界級的水平

研究學習算法不僅僅是學者才能做的

你也可以學習研究機器學習算法。

你不需要一個很高的學位，你不需要用研究的方式訓練，你也不需要成為一名學者

對每個擁有計算機和濃厚興趣的人來說，機器學習算法的系統研究學習是開放的。事實上，如果你主修機器學習，你一定會適應機器學習算法的系統研究。知識根本不會自己出來，你需要靠自己的經驗去得到

當談論你的發現的適用性時，你需要保持懷疑和謹慎

你不一定提出獨一無二的問題。通過研究一般的問題，你也將會收獲很多，例如根據一些一般的標準數據集總結出一個參數的普遍影響。你保不住會發現某些具有最優方法的常例的局限性甚至反例。

行動步驟

在本篇文章中，通過可控實驗你知道了研究學習機器學習算法行為的重要性。你掌握了簡單的5個步驟，你可以在一個機器學習算法上設計和運行你的第一項實驗

采取行動。使用你在這篇博文中學到的步驟，來完成你的第一個機器學習實驗。一旦你完成了一個，甚至是很小的一個，你將會獲得自信，工具、能力來完成第二個以及更多。