異常值檢測一般要求新發現的數據是否與現有觀測數據具有相同的分布或者不同的分布，相同的分布可以稱之為內點（inlier），具有不同分布的點可以稱之為離群值。離群點和新奇點檢測是不同的，有一個重要的區分必須掌握：

離群點檢測:訓練數據包含離群點,這些離群點被定義為遠離其它內點的觀察值。因此，離群點檢測估計器會嘗試擬合出訓練數據中內圍點聚集的區域, 而忽略異常值觀察。

新奇點檢測:訓練數據沒有受到離群點污染，我們感興趣的是檢測一個新的觀測值是否為離群點。在這種情況下，離群點被認為是新奇點。

離群點檢測和新奇點檢測都用于異常檢測, 其中一項感興趣的是檢測異?；虍惓Ｓ^察。離群點檢測又被稱之為無監督異常檢測，新奇點檢測又被稱之為半監督異常檢測。 在離群點檢測的背景下, 離群點/異常點不能夠形成密集的簇，因為可用的估計器假設離群點/異常點位于低密度區域。相反的，在新奇點檢測的背景下， 新奇點/異常點只要位于訓練數據的低密度區域，是可以形成稠密聚類簇的，在此背景下被認為是正常的。

scikit-learn有一套機器學習工具estimator.fit(X_train)，可用于新奇點或離群值檢測。然后可以使用estimator.predict(X_test)方法將新觀察值分類為離群點或內點 ：內圍點會被標記為1，而離群點標記為-1。

離群點檢測方法總結

下面的例子展示了二維數據集上不同異常檢測算法的特點。數據集包含一種或兩種模式(高密度區域)，以說明算法處理多模式數據的能力。

對于每個數據集，產生15%的樣本作為隨機均勻噪聲。這個比例是給予OneClassSVM的nu參數和其他離群點檢測算法的污染參數的值。由于局部離群因子(LOF)用于離群值檢測時沒有對新數據應用的預測方法，因此除了局部離群值因子(LOF)外，inliers和離群值之間的決策邊界以黑色顯示。

sklearn.svm。一個已知的eclasssvm對異常值很敏感，因此在異常值檢測方面表現不太好。該估計器最適合在訓練集沒有異常值的情況下進行新穎性檢測。也就是說，在高維的離群點檢測，或者在不對嵌入數據的分布做任何假設的情況下，一個類支持向量機可能在這些情況下給出有用的結果，這取決于它的超參數的值。

sklearn.covariance。橢圓包絡假設數據是高斯分布，并學習一個橢圓。因此，當數據不是單峰時，它就會退化。但是請注意，這個估計器對異常值是穩健的。

sklearn.ensemble。IsolationForest sklearn.neighbors。LocalOutlierFactor對于多模態數據集似乎表現得相當好。sklearn的優勢。第三個數據集的局部離群因子超過其他估計顯示，其中兩種模式有不同的密度。這種優勢是由LOF的局域性來解釋的，即它只比較一個樣本的異常分數與其相鄰樣本的異常分數。

最后，對于最后一個數據集，很難說一個樣本比另一個樣本更反常，因為它們是均勻分布在超立方體中。除了sklearn。svm。有一點過度擬合的支持向量機，所有的估計器都對這種情況給出了合適的解決方案。在這種情況下，明智的做法是更密切地觀察樣本的異常分數，因為一個好的估計器應該給所有樣本分配相似的分數。

雖然這些例子給出了一些關于算法的直覺，但這種直覺可能不適用于非常高維的數據。

最后，請注意，模型的參數在這里是精心挑選的，但在實踐中需要進行調整。在沒有標記數據的情況下，這個問題是完全無監督的，因此模型的選擇是一個挑戰。

# Author: Alexandre Gramfort <alexandre.gramfort@inria.fr>
#         Albert Thomas <albert.thomas@telecom-paristech.fr>
# License: BSD 3 clause

import time

import numpy as np
import matplotlib
import matplotlib.pyplot as plt

from sklearn import svm
from sklearn.datasets import make_moons, make_blobs
from sklearn.covariance import EllipticEnvelope
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor

print(__doc__)

matplotlib.rcParams['contour.negative_linestyle'] = 'solid'

# Example settings
n_samples = 300
outliers_fraction = 0.15
n_outliers = int(outliers_fraction * n_samples)
n_inliers = n_samples - n_outliers

# define outlier/anomaly detection methods to be compared
anomaly_algorithms = [
    ("Robust covariance", EllipticEnvelope(contamination=outliers_fraction)),
    ("One-Class SVM", svm.OneClassSVM(nu=outliers_fraction, kernel="rbf",
                                      gamma=0.1)),
    ("Isolation Forest", IsolationForest(contamination=outliers_fraction,
                                         random_state=42)),
    ("Local Outlier Factor", LocalOutlierFactor(
        n_neighbors=35, contamination=outliers_fraction))]

# Define datasets
blobs_params = dict(random_state=0, n_samples=n_inliers, n_features=2)
datasets = [
    make_blobs(centers=[[0, 0], [0, 0]], cluster_std=0.5,
               **blobs_params)[0],
    make_blobs(centers=[[2, 2], [-2, -2]], cluster_std=[0.5, 0.5],
               **blobs_params)[0],
    make_blobs(centers=[[2, 2], [-2, -2]], cluster_std=[1.5, .3],
               **blobs_params)[0],
    4. * (make_moons(n_samples=n_samples, noise=.05, random_state=0)[0] -
          np.array([0.5, 0.25])),
    14. * (np.random.RandomState(42).rand(n_samples, 2) - 0.5)]

# Compare given classifiers under given settings
xx, yy = np.meshgrid(np.linspace(-7, 7, 150),
                     np.linspace(-7, 7, 150))

plt.figure(figsize=(len(anomaly_algorithms) * 2 + 3, 12.5))
plt.subplots_adjust(left=.02, right=.98, bottom=.001, top=.96, wspace=.05,
                    hspace=.01)

plot_num = 1
rng = np.random.RandomState(42)

for i_dataset, X in enumerate(datasets):
    # Add outliers
    X = np.concatenate([X, rng.uniform(low=-6, high=6,
                       size=(n_outliers, 2))], axis=0)

    for name, algorithm in anomaly_algorithms:
        t0 = time.time()
        algorithm.fit(X)
        t1 = time.time()
        plt.subplot(len(datasets), len(anomaly_algorithms), plot_num)
        if i_dataset == 0:
            plt.title(name, size=18)

        # fit the data and tag outliers
        if name == "Local Outlier Factor":
            y_pred = algorithm.fit_predict(X)
        else:
            y_pred = algorithm.fit(X).predict(X)

        # plot the levels lines and the points
        if name != "Local Outlier Factor":  # LOF does not implement predict
            Z = algorithm.predict(np.c_[xx.ravel(), yy.ravel()])
            Z = Z.reshape(xx.shape)
            plt.contour(xx, yy, Z, levels=[0], linewidths=2, colors='black')

        colors = np.array(['#377eb8', '#ff7f00'])
        plt.scatter(X[:, 0], X[:, 1], s=10, color=colors[(y_pred + 1) // 2])

        plt.xlim(-7, 7)
        plt.ylim(-7, 7)
        plt.xticks(())
        plt.yticks(())
        plt.text(.99, .01, ('%.2fs' % (t1 - t0)).lstrip('0'),
                 transform=plt.gca().transAxes, size=15,
                 horizontalalignment='right')
        plot_num += 1

plt.show()