### 使用Python爬虫获取数据并进行KNN预测可视化的代码示例 以下是一个完整的代码示例，展示如何使用Python爬虫获取数据，并通过KNN算法进行预测和可视化。代码分为几个部分：爬取数据、数据预处理、KNN预测和结果可视化。 #### 1. 爬取数据 使用`requests`库获取网页数据，并用`BeautifulSoup`解析HTML内容[^3]。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 爬取数据 url = "https://example.com/data" # 替换为实际的URL response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 假设数据在表格中 table = soup.find('table') rows = table.find_all('tr') data = [] for row in rows: cols = row.find_all('td') cols = [col.text.strip() for col in cols] data.append(cols) # 转换为DataFrame df = pd.DataFrame(data[1:], columns=data[0]) print("爬取的数据：") print(df.head()) ``` #### 2. 数据预处理 对爬取到的数据进行清洗和格式化，以便后续用于KNN算法[^2]。 ```python from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 假设目标列是最后一列 X = df.iloc[:, :-1].values y = df.iloc[:, -1].values # 数据集划分 x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 标准化特征值 scaler = StandardScaler() x_train = scaler.fit_transform(x_train) x_test = scaler.transform(x_test) ``` #### 3. KNN预测 使用`sklearn.neighbors.KNeighborsClassifier`实现KNN算法进行分类预测[^1]。 ```python from sklearn.neighbors import KNeighborsClassifier # 初始化KNN模型 knn = KNeighborsClassifier(n_neighbors=3) knn.fit(x_train, y_train) # 预测测试集 y_pred = knn.predict(x_test) ``` #### 4. 结果可视化 利用`matplotlib`库展示训练集和测试集的分布情况[^1]。 ```python import matplotlib.pyplot as plt # 可视化训练集 plt.scatter(x_train[:, 0], x_train[:, 1], c=y_train, marker='.', label='Training Data') plt.title('Training Data Visualization') plt.legend() plt.show() # 可视化测试集 plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test, marker='.', label='Testing Data') plt.title('Testing Data Visualization') plt.legend() plt.show() ``` 以上代码展示了从数据爬取、预处理、KNN预测到结果可视化的完整流程。 --- ###