機器學習的認知和算法總結

相信不少人都沒弄明白機器學習和數據挖掘的區別是什么？其實機器學習并不等同于數據挖掘，數據挖掘更多的是從目標角度去理解數據，然后利用算法建模探索有價值的結論；而機器學習更多是從方法角度，以人工智能的角度去認識世界，去掌握知識，實現機器學習。判斷是不是真正機器學習，可以從“機器是否具備學習能力”來看。

真正的機器學習，不僅僅是存儲信息這么簡單，現實世界中信息包括語音信號、數字圖像等，通常都是高維數據，為了正確地理解這些數據，就需要對這些信息進行處理——降維，找出隱藏在高維數據中的低維結構。從數據分析的角度來說，機器學習過程就是數據挖掘的過程，機器通過挖掘出外界環境數據中潛在的規律，從而“理解”數據，理解外界環境，也就達到了“學習”的境界。機器學習還應該具有演繹、歸納和類比的能力，比如演繹能力中最重要的方法就是經典的三段論(大前提：學生需要學習;小前提：小明是學生;結論：小明需要學習)，只需要為機器提供大前提和小前提，機器就可能給出正確的結論;而歸納能力則需要機器通過歸納求解出對事物總的概念描述，類似于人類抽象思維的能力;類比能力是演繹和推理的結合，這是機器學習最關鍵的部分，利用相似性將已存儲的信息與新事物進行匹配，檢驗相似程度，不斷更新機器已有的知識庫，以解決更多的問題。

機器學習的算法總結

機器學習的算法很多。很多時候困惑人們都是，很多算法是一類算法，而有些算法又是從其他算法中延伸出來的。這里，我們從兩個方面來給大家介紹，第一個方面是學習的方式，第二個方面是算法的類似性。以下為原文：

學習方式

根據數據類型的不同，對一個問題的建模有不同的方式。在機器學習或者人工智能領域，人們首先會考慮算法的學習方式。在機器學習領域，有幾種主要的學習方式。將算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和算法選擇的時候考慮能根據輸入數據來選擇最合適的算法來獲得最好的結果。

監督式學習：

#FormatImgID_0#

在監督式學習下，輸入數據被稱為“訓練數據”，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中“垃圾郵件”“非垃圾郵件”，對手寫數字識別中的“1“，”2“，”3“，”4“等。在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與“訓練數據”的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。常見算法有邏輯回歸(Logistic Regression)和反向傳遞神經網絡(Back Propagation Neural Network)

非監督式學習：

#FormatImgID_1#

在非監督式學習中，數據并不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。

半監督式學習：

#FormatImgID_2#

在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，算法包括一些對常用監督式學習算法的延伸，這些算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理算法(Graph Inference)或者拉普拉斯支持向量機(Laplacian SVM.)等。

強化學習：

#FormatImgID_3#

在這種學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。常見算法包括Q-Learning以及時間差學習(Temporal difference learning)

在企業數據應用的場景下， 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域，由于存在大量的非標識的數據和少量的可標識數據， 目前半監督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。

算法類似性

根據算法的功能和形式的類似性，我們可以把算法分類，比如說基于樹的算法，基于神經網絡的算法等等。當然，機器學習的范圍非常龐大，有些算法很難明確歸類到某一類。而對于有些分類來說，同一分類的算法可以針對不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進行分類。

回歸算法

#FormatImgID_4#

回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法?；貧w算法是統計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法(Ordinary Least Square)，邏輯回歸(Logistic Regression)，逐步式回歸(Stepwise Regression)，多元自適應回歸樣條(Multivariate Adaptive Regression Splines)以及本地散點平滑估計(Locally Estimated Scatterplot Smoothing)

基于實例的算法

#FormatImgID_5#

基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然后根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 k-Nearest Neighbor(KNN), 學習矢量量化(Learning Vector Quantization， LVQ)，以及自組織映射算法(Self-Organizing Map ， SOM)

正則化方法

#FormatImgID_6#

正則化方法是其他算法(通常是回歸算法)的延伸，根據算法的復雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對復雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator(LASSO)，以及彈性網絡(Elastic Net)。

決策樹學習

#FormatImgID_7#

決策樹算法根據數據的屬性采用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹(Classification And Regression Tree， CART)， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林(Random Forest)， 多元自適應回歸樣條(MARS)以及梯度推進機(Gradient Boosting Machine， GBM)

貝葉斯方法

#FormatImgID_8#

貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計(Averaged One-Dependence Estimators， AODE)，以及Bayesian Belief Network(BBN)。

基于核的算法

#FormatImgID_9#

基于核的算法中最著名的莫過于支持向量機(SVM)了。 基于核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基于核的算法包括：支持向量機(Support Vector Machine， SVM)， 徑向基函數(Radial Basis Function ，RBF)， 以及線性判別分析(Linear Discriminate Analysis ，LDA)等。

聚類算法

#FormatImgID_10#

聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數據進行歸并。所以的聚類算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法(Expectation Maximization， EM)。

關聯規則學習

#FormatImgID_11#

關聯規則學習通過尋找最能夠解釋數據變量之間關系的規則，來找出大量多元數據集中有用的關聯規則。常見算法包括 Apriori算法和Eclat算法等。

人工神經網絡

#FormatImgID_12#

人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。(其中深度學習就是其中的一類算法，我們會單獨討論)，重要的人工神經網絡算法包括：感知器神經網絡(Perceptron Neural Network), 反向傳遞(Back Propagation)， Hopfield網絡，自組織映射(Self-Organizing Map, SOM)。學習矢量量化(Learning Vector Quantization， LVQ)

深度學習

#FormatImgID_13#

深度學習算法是對人工神經網絡的發展。 在近期贏得了很多關注， 特別是 百度也開始發力深度學習后， 更是在國內引起了很多關注。 在計算能力變得日益廉價的今天，深度學習試圖建立大得多也復雜得多的神經網絡。很多深度學習的算法是半監督式學習算法，用來處理存在少量未標識數據的大數據集。常見的深度學習算法包括：受限波爾茲曼機(Restricted Boltzmann Machine， RBN)， Deep Belief Networks(DBN)，卷積網絡(Convolutional Network), 堆棧式自動編碼器(Stacked Auto-encoders)。

降低維度算法

#FormatImgID_14#

像聚類算法一樣，降低維度算法試圖分析數據的內在結構，不過降低維度算法是以非監督學習的方式試圖利用較少的信息來歸納或者解釋數據。這類算法可以用于高維數據的可視化或者用來簡化數據以便監督式學習使用。常見的算法包括：主成份分析(Principle Component Analysis， PCA)，偏最小二乘回歸(Partial Least Square Regression，PLS)， Sammon映射，多維尺度(Multi-Dimensional Scaling, MDS), 投影追蹤(Projection Pursuit)等。

集成算法

#FormatImgID_15#

集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然后把結果整合起來進行整體預測。集成算法的主要難點在于究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation(Bagging)， AdaBoost，堆疊泛化(Stacked Generalization， Blending)，梯度推進機(Gradient Boosting Machine, GBM)，隨機森林(Random Forest)。