很多应用场景都需要能够确定样本是否属于与现有的分布，或者应该被视为不同的分布。
离群检测和新颖性检测都用于异常检测，其中人们对检测异常或不寻常的观察感兴趣。离群检测也称为无监督异常检测，新奇检测称为半监督异常检测。
在离群检测中离群值不能形成密集的集群，因为可以假设离群值位于低密度区域。相反在新颖性检测中，新颖性处于训练数据的低密度区域。
如下图为scikit-learn 中异常值检测算法的比较，IsolationForest和LocalOutlierFactor在此处考虑的数据集上表现相当不错。而OneClassSVM对离群值很敏感，因此在离群值检测方面表现不佳。
但OneClassSVM仍可用于异常值检测，但需要微调其超参数nu以处理异常值并防止过度拟合。SGDOneClassSVM提供了复杂度更低的实现。而EllipticEnvelope假设数据是高斯分布的并学习一个椭圆。
孤立森林（Isolation Forest）是一种异常值检测算法。它通过建立多棵决策树，并在每棵树中随机选取一个特征将数据集划分为两个子集来实现异常值检测。与其他决策树算法不同的是，孤立森林算法并不是用来预测目标变量的值的，而是用来预测数据点是否是异常值。
为了计算出每个数据点是否是异常值，孤立森林算法对每个数据点计算出一个分数，称为异常分数。数据点的异常分数越低，说明它越可能是一个异常值。通常情况下，我们可以设定一个阈值，如果数据点的异常分数低于这个阈值，就认为这是一个异常值。
关键参数：
from sklearn.ensemble import IsolationForest
X = [[-1.1], [0.3], [0.5], [100]]
clf = IsolationForest(random_state=0).fit(X)
# 预测特定样本是否为异常值
# 对于每个观察值，返回 (+1 或 -1) 分别代表正常样本和异常值
clf.predict([[0.1], [0], [90]])
Local Outlier Factor (LOF) 是一种用于检测数据集中异常或异常数据点的算法。LOF 背后的基本思想是测量给定数据点与其相邻数据点的局部偏差。如果一个点与其相邻点有显着差异，则将其视为异常值。一个点被视为离群值的程度通过称为局部离群值因子的度量来量化。
首先确定该点邻居的密度，密度计算方法是将给定距离内的邻居数除以具有该距离的球体的体积。较高邻居密度的点被认为比具有较低邻居密度的点更不离群。然后将一个点的 LOF 计算为该点与其相邻点的密度之比。具有高 LOF 值的点被认为是异常值。
关键参数：
import numpy as np
from sklearn.neighbors import LocalOutlierFactor
X = [[-1.1], [0.2], [101.1], [0.3]]
clf = LocalOutlierFactor(n_neighbors=2)
# 异常/离群值返回 -1，离群值返回 +1
clf.fit_predict(X)
OneClassSVM是一种用于检测异常点的算法，是一种无监督学习算法。决策边界将数据点分为两类：内点和外点。非离群点是与训练集中的大多数点相似的点，而离群点是与训练集中的大多数点显着不同的点。
为了学习决策边界，OneClassSVM最大化边界和内点之间的距离，最终找到合适的超平面。这个超平面可以最大化内点和决策边界之间的边距。一旦学习了决策边界，就可以使用它来将新点分类为内点或异常点。
关键参数：
from sklearn.svm import OneClassSVM
X = [[0], [0.44], [0.45], [0.46], [1]]
clf = OneClassSVM(gamma='auto').fit(X)
# 异常/离群值返回 -1，离群值返回 +1
clf.predict(X)
在实际使用中OneClassSVM速度较慢，因此可以考虑使用随机梯度下降求解线性的SVM来代替，也就是SGDOneClassSVM。
椭圆包络（Elliptic Envelope）是一种检测数据集中异常或异常数据点的方法。它是一种无监督学习方法，通过将椭圆拟合到训练集中的数据点来工作，但假设大多数点遵循高斯分布。
为了拟合椭圆，椭圆包络估计数据点的均值和协方差，并使用这些估计值来确定椭圆的形状和方向。一旦学习了椭圆，它就可以用来将新点分类为内点或异常点。
import numpy as np
from sklearn.covariance import EllipticEnvelope
true_cov = np.array([[.8, .3],
[.3, .4]])
X = np.random.RandomState(0).multivariate_normal(mean=[0, 0],
cov=true_cov,
size=500)
cov = EllipticEnvelope(random_state=0).fit(X)
# predict returns 1 for an inlier and -1 for an outlier
cov.predict([[0, 0],
[3, 3]])