### Pyspark 交互式编程综合实验教程与实践案例 Pyspark 是 Apache Spark 的 Python API，提供了强大的分布式计算能力。通过 Pyspark，用户可以轻松地进行交互式数据分析和处理。以下是关于 Pyspark 交互式编程的综合实验教程和实践案例。 #### 数据准备 在开始实验之前，需要准备好数据集和环境。根据提供的参考资料[^1]，可以从教材官网的“下载专区”获取名为 `chapter4-data1.txt` 的数据集。该数据集包含了某大学计算机系的成绩信息。 ```python # 启动 PySpark 并加载数据 from pyspark import SparkContext sc = SparkContext("local", "PySpark Tutorial") data = sc.textFile("path/to/chapter4-data1.txt") # 替换为实际路径 ``` #### 实验内容 ##### 1. 数据去重 在大数据处理中，数据去重是一个常见的需求。以下代码展示了如何使用 Pyspark 对数据进行去重操作[^3]。 ```python # 去重操作 distinct_data = data.distinct() result = distinct_data.collect() # 将结果收集到本地 print(result) ``` ##### 2. 求平均值 计算数据集中的平均值是另一个重要的统计任务。以下代码展示了如何计算成绩数据的平均值[^3]。 ```python # 计算平均值 def parse_line(line): parts = line.split(",") return float(parts[1]) # 假设成绩在第二列 scores = data.map(parse_line) average_score = scores.mean() print(f"Average Score: {average_score}") ``` ##### 3. 数据过滤 通过过滤操作，可以选择满足特定条件的数据。例如，筛选出成绩大于等于 60 分的学生[^4]。 ```python # 过滤操作 filtered_scores = scores.filter(lambda x: x >= 60) passed_students = filtered_scores.count() print(f"Number of Students Passed: {passed_students}") ``` ##### 4. 数据转换与保存 在完成数据处理后，可以将结果保存到文件系统中。以下代码展示了如何将处理后的数据保存为文本文件。 ```python # 保存结果 filtered_scores.saveAsTextFile("path/to/output") ``` #### 环境配置 为了方便进行交互式编程，可以使用 Jupyter Notebook 配置 Pyspark 环境。具体步骤如下[^2]： 1. 安装必要的依赖包。 2. 配置 Spark 和 Jupyter 的连接。 3. 在 Jupyter 中运行 Pyspark 代码。 ```bash # 安装 PySpark pip install pyspark # 启动 Jupyter Notebook jupyter notebook ``` 在 Jupyter 中，可以通过以下代码启动 Pyspark 上下文： ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Jupyter PySpark Example") \ .getOrCreate() sc = spark.sparkContext ``` #### 总结 Pyspark 提供了丰富的功能用于大数据处理和分析。通过上述实验内容，用户可以掌握数据去重、求平均值、数据过滤和保存等基本操作。此外，结合 Jupyter Notebook 的交互式编程环境，可以更高效地进行数据分析和调试[^3]。