### 使用 Python 和 Spark 基于西瓜数据集 3.0 实现逻辑回归分类模型 以下是基于 Python 和 PySpark 的实现方法，用于构建逻辑回归分类模型并计算错误率、精度 (Accuracy)、查准率 (Precision) 和查全率 (Recall)，具体如下： #### 数据准备 假设已加载西瓜数据集 3.0 并将其转换为适合 PySpark 处理的 DataFrame 格式。 ```python from pyspark.sql import SparkSession from pyspark.ml.feature import VectorAssembler from pyspark.ml.classification import LogisticRegression from pyspark.ml.evaluation import BinaryClassificationEvaluator, MulticlassClassificationEvaluator from pyspark.ml import Pipeline # 初始化 SparkSession spark = SparkSession.builder \ .appName("Logistic Regression with Watermelon Dataset") \ .getOrCreate() # 加载西瓜数据集（此处仅为示意） data = [(1.0, 0.697, 0.46), (0.0, 0.774, 0.376), ...] # 替换为实际数据 columns = ["label", "density", "sugar"] df = spark.createDataFrame(data, columns) # 特征向量化 assembler = VectorAssembler(inputCols=["density", "sugar"], outputCol="features") transformed_df = assembler.transform(df) ``` #### 构建逻辑回归模型 通过 `Pipeline` 整合特征工程与模型训练过程。 ```python # 定义逻辑回归模型 lr = LogisticRegression(featuresCol="features", labelCol="label") # 创建流水线 pipeline = Pipeline(stages=[assembler, lr]) # 训练模型 model = pipeline.fit(transformed_df) predictions = model.transform(transformed_df) ``` #### 模型评估 利用 PySpark 提供的评估器来计算所需指标。 ```python # 错误率和精度 evaluator_acc = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="accuracy") accuracy = evaluator_acc.evaluate(predictions) error_rate = 1 - accuracy # 查准率和查全率 evaluator_precision = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="precisionByLabel") precision = evaluator_precision.evaluate(predictions) evaluator_recall = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="recallByLabel") recall = evaluator_recall.evaluate(predictions) print(f"Error Rate: {error_rate:.4f}") print(f"Accuracy: {accuracy:.4f}") print(f"Precision: {precision:.4f}")[^1] print(f"Recall: {recall:.4f}")[^1] ``` 以上代码实现了完整的流程，包括数据预处理、模型训练以及性能评估。注意，在真实场景下需调整参数以优化模型表现。 --- ####