Python实现异常数据检测有多种方法和技术，以下为几种常见的方法： ### 基于统计的方法 - **Z - score方法**：该方法基于数据的均值和标准差来识别异常值。通常，当数据点的Z - score绝对值超过某个阈值（如3）时，就认为该数据点是异常值。 ```python import numpy as np def z_score_outliers(data, threshold=3): mean = np.mean(data) std = np.std(data) z_scores = np.abs((data - mean) / std) return data[z_scores > threshold] data = np.array([1, 2, 3, 4, 5, 100]) outliers = z_score_outliers(data) print(outliers) ``` - **四分位距（IQR）方法**：通过计算数据的四分位数，确定数据的中间50%范围，然后根据四分位距来识别异常值。 ```python import numpy as np def iqr_outliers(data): q1 = np.percentile(data, 25) q3 = np.percentile(data, 75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr return data[(data < lower_bound) | (data > upper_bound)] data = np.array([1, 2, 3, 4, 5, 100]) outliers = iqr_outliers(data) print(outliers) ``` ### 基于机器学习的方法 - **孤立森林（Isolation Forest）**：这是一种无监督学习算法，通过随机分割数据点，计算每个数据点的隔离难度来判断其是否为异常值。 ```python from sklearn.ensemble import IsolationForest import numpy as np data = np.array([[1], [2], [3], [4], [5], [100]]) clf = IsolationForest(contamination=0.1) clf.fit(data) predictions = clf.predict(data) outliers = data[predictions == -1] print(outliers) ``` - **局部异常因子（Local Outlier Factor, LOF）**：该算法通过计算每个数据点的局部密度，并与邻居的密度进行比较，来判断该数据点是否为异常值。 ```python from sklearn.neighbors import LocalOutlierFactor import numpy as np data = np.array([[1], [2], [3], [4], [5], [100]]) clf = LocalOutlierFactor(n_neighbors=2) predictions = clf.fit_predict(data) outliers = data[predictions == -1] print(outliers) ``` ### 基于深度学习的方法 - **自编码器（Autoencoder）**：自编码器是一种无监督学习模型，通过将输入数据编码为低维表示，然后再解码回原始数据。异常数据在重构时会产生较大的误差，通过设置误差阈值来识别异常值。 ```python import tensorflow as tf from tensorflow.keras import layers # 构建自编码器模型 class Autoencoder(tf.keras.Model): def __init__(self): super(Autoencoder, self).__init__() self.encoder = tf.keras.Sequential([ layers.Dense(16, activation='relu', input_shape=(1,)), layers.Dense(8, activation='relu') ]) self.decoder = tf.keras.Sequential([ layers.Dense(16, activation='relu'), layers.Dense(1) ]) def call(self, x): encoded = self.encoder(x) decoded = self.decoder(encoded) return decoded autoencoder = Autoencoder() autoencoder.compile(optimizer='adam', loss='mse') data = np.array([[1], [2], [3], [4], [5], [100]], dtype=np.float32) autoencoder.fit(data, data, epochs=50) reconstructions = autoencoder.predict(data) mse = np.mean(np.power(data - reconstructions, 2), axis=1) threshold = np.mean(mse) + 3 * np.std(mse) outliers = data[mse > threshold] print(outliers) ```