### 使用 Python 读取 CSV 文件中的数据并通过正则表达式查找非正数进行回归分析 #### 背景分析 在数据分析领域，通常需要从结构化的 CSV 文件中提取特定类型的数值，并对其进行进一步的统计或机器学习建模。此任务涉及三个核心步骤：读取 CSV 数据、筛选非正数以及应用线性回归模型。 以下是详细的解决方案及其说明： --- #### 实现方法与代码示例 1. **导入必要的库** 需要使用 `pandas` 来高效处理 CSV 数据，`re` 库用于正则表达式匹配，以及 `sklearn.linear_model.LinearRegression` 进行回归分析。 2. **定义正则表达式规则** 设计一个能够识别非正数（即小于等于零的数值）的正则表达式模式。 3. **执行数据筛选与回归分析** 结合 Pandas 的强大功能和 Scikit-Learn 的简单接口完成整个流程。 以下是具体的实现代码： ```python import pandas as pd import re from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score def process_csv_and_perform_regression(file_path): """ 处理 CSV 文件中的数据，通过正则表达式查找所有非正数并进行回归分析 参数: file_path (str): 输入 CSV 文件路径 返回: dict: 包含训练误差和测试误差的结果字典 """ # 定义正则表达式用于匹配非正数 (-∞, 0] non_positive_pattern = r'-?(?:0|(?:[1-9]\d*)?(?:\.\d+)?)' try: # 加载 CSV 数据至 DataFrame df = pd.read_csv(file_path) # 展平所有列的数据为一维数组 all_values = pd.concat([df[col].dropna().astype(str) for col in df.columns], ignore_index=True) # 查找所有符合规则的非正数 matches = [float(x) for x in all_values if re.fullmatch(non_positive_pattern, str(x)) and float(x) <= 0] # 构造特征矩阵 X 和目标向量 y （假设最后一列为因变量） features = [[val] for val in matches[:-1]] # 自变量 target = matches[-len(features):] # 因变量 if not features or not target: raise ValueError("未找到足够的非正数数据以构建回归模型") # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(features, target, test_size=0.2, random_state=42) # 创建线性回归模型实例 model = LinearRegression() # 训练模型 model.fit(X_train, y_train) # 预测结果 y_pred_train = model.predict(X_train) y_pred_test = model.predict(X_test) # 输出评估指标 mse_train = mean_squared_error(y_train, y_pred_train) mse_test = mean_squared_error(y_test, y_pred_test) r2_train = r2_score(y_train, y_pred_train) r2_test = r2_score(y_test, y_pred_test) return { "train_mse": mse_train, "test_mse": mse_test, "train_r2": r2_train, "test_r2": r2_test } except FileNotFoundError: print(f"错误：无法找到指定文件 '{file_path}'") return {} except Exception as e: print(f"发生未知错误：{e}") return {} # 测试函数 if __name__ == "__main__": results = process_csv_and_perform_regression('data.csv') if results: print("回归分析结果:") print(results) ``` --- #### 关键点解析 - **正则表达式详解** 上述使用的正则表达式 `r'-?(?:0|(?:[1-9]\d*)?(?:\.\d+)?)'` 主要有以下几个组成部分： - `-?`: 表示可选的负号前缀。 - `(?:...)`: 非捕获组，只起到分组作用而不保存匹配项。 - `0`: 单独匹配零值。 - `[1-9]\d*`: 匹配任意位数的大于零的整数部分。 - `(?:\.\d+)?`: 可选的小数部分，确保支持浮点型数据[^1]。 - **数据准备阶段** 将所有的非正数收集起来作为自变量和因变量的一部分，这一步骤依赖 Pandas 的灵活性来展平多维度表格数据[^2]。 - **回归模型的选择与评价** 使用简单的线性回归模型拟合数据关系，并计算均方误差(MSE)和决定系数(R²)，以此衡量模型的表现质量[^3]。 --- #### 注意事项 - 确保输入的 CSV 文件具有合理的格式且无过多缺失值干扰正常运算。 - 如果实际应用场景更加复杂或者存在多重共线性等问题，则需考虑引入其他高级技术比如岭回归(Lasso Regression)[^4]。 ---