以下是使用Spark构建泰坦尼克号数据集预处理Pipeline，定义参数网格，设置交叉验证，进行模型训练与分析，找出最优超参数组合并输出最优模型在测试集上的AUC值的代码示例： ```python from pyspark.sql import SparkSession from pyspark.ml import Pipeline from pyspark.ml.feature import StringIndexer, Imputer, VectorAssembler from pyspark.ml.classification import LogisticRegression from pyspark.ml.tuning import ParamGridBuilder, CrossValidator from pyspark.ml.evaluation import BinaryClassificationEvaluator # 创建SparkSession spark = SparkSession.builder.appName("TitanicPipeline").getOrCreate() # 读取泰坦尼克号数据集 data = spark.read.csv("titanic.csv", header=True, inferSchema=True) # 定义变换器 gender_indexer = StringIndexer(inputCol="Sex", outputCol="Sex_index") age_imputer = Imputer(inputCol="Age", outputCol="Age_imputed", strategy="mean") vector_assembler = VectorAssembler(inputCols=["Age_imputed", "Sex_index", "Fare"], outputCol="features") # 定义估计器 lr = LogisticRegression(featuresCol="features", labelCol="Survived") # 构建流水线 pipeline = Pipeline(stages=[gender_indexer, age_imputer, vector_assembler, lr]) # 定义参数网格 param_grid = ParamGridBuilder() \ .addGrid(lr.regParam, [0.1, 0.01]) \ .addGrid(lr.elasticNetParam, [0.0, 0.5]) \ .build() # 设置交叉验证 evaluator = BinaryClassificationEvaluator(labelCol="Survived", metricName="areaUnderROC") cross_validator = CrossValidator(estimator=pipeline, estimatorParamMaps=param_grid, evaluator=evaluator, numFolds=5) # 划分训练集和测试集 train_data, test_data = data.randomSplit([0.8, 0.2], seed=42) # 运行交叉验证 cv_model = cross_validator.fit(train_data) # 获取最优模型 best_model = cv_model.bestModel # 在测试集上进行预测 predictions = best_model.transform(test_data) # 计算AUC值 auc = evaluator.evaluate(predictions) print(f"最优模型在测试集上的AUC值: {auc}") ``` ### 代码解释 1. **数据读取**：使用`spark.read.csv`读取泰坦尼克号数据集。 2. **定义变换器**：使用`StringIndexer`对性别进行编码，使用`Imputer`填充年龄缺失值，使用`VectorAssembler`组合特征。 3. **定义估计器**：使用`LogisticRegression`作为分类器。 4. **构建流水线**：将变换器和估计器串起来，形成一个完整的预处理和模型训练流程。 5. **定义参数网格**：使用`ParamGridBuilder`定义`regParam`和`elasticNetParam`的不同组合。 6. **设置交叉验证**：使用`CrossValidator`进行交叉验证，选择最优超参数组合。 7. **划分训练集和测试集**：使用`randomSplit`方法将数据集划分为训练集和测试集。 8. **运行交叉验证**：使用`fit`方法进行交叉验证，找出最优模型。 9. **计算AUC值**：使用`BinaryClassificationEvaluator`计算最优模型在测试集上的AUC值。