### Spark Python 编程基础期末考试习题答案 以下是针对 Spark Python 编程基础（基于 PySpark）的一套常见期末考试题目及其解答： #### 题目 1: 创建一个 RDD 并执行基本转换操作 **问题**: 使用 `sc.parallelize` 方法创建一个包含 `[1, 2, 3, 4, 5]` 的 RDD，并对其进行平方运算。 ```python data = sc.parallelize([1, 2, 3, 4, 5]) squared_rdd = data.map(lambda x: x ** 2) result = squared_rdd.collect() print(result) # 输出应为 [1, 4, 9, 16, 25] ``` 此代码片段展示了如何通过 `map()` 转换来实现数据的逐项处理[^1]。 --- #### 题目 2: 计算 RDD 中所有元素的总和 **问题**: 给定一个 RDD，计算其内部所有整数的总和。 ```python rdd_sum = sc.parallelize([10, 20, 30, 40]).reduce(lambda a, b: a + b) print(rdd_sum) # 输出应为 100 ``` 这里利用了 `reduce()` 函数来聚合 RDD 数据中的值[^1]。 --- #### 题目 3: 实现单词计数 (Word Count) **问题**: 对一段文本进行单词统计，返回每个单词出现的次数。 ```python text = ["hello world", "hello spark", "world hello"] words_rdd = sc.parallelize(text).flatMap(lambda line: line.split()).map(lambda word: (word, 1)) counts = words_rdd.reduceByKey(lambda a, b: a + b).collect() for word, count in counts: print(f"{word}: {count}") ``` 这段代码实现了经典的 Word Count 功能，其中涉及到了 `flatMap()`, `map()`, 和 `reduceByKey()` 等核心 API[^3]。 --- #### 题目 4: 处理键值对并求平均值 **问题**: 已知一组 `(key, value)` 形式的记录，计算每组 key 下对应数值的平均值。 ```python input_data = [("Math", 80), ("English", 75), ("Math", 90), ("English", 85)] rdd = sc.parallelize(input_data) averages = rdd.combineByKey( lambda v: (v, 1), lambda acc, v: (acc[0] + v, acc[1] + 1), lambda acc1, acc2: (acc1[0] + acc2[0], acc1[1] + acc2[1]) ).mapValues(lambda t: t[0] / t[1]) results = averages.collect() for course, avg_score in results: print(f"{course}, Average Score: {avg_score:.2f}") # 结果类似于 Math, Average Score: 85.00 ``` 此处使用了 `combineByKey()` 来高效地完成分组汇总任务[^3]。 --- #### 题目 5: DataFrame 基本操作 **问题**: 将列表转化为 DataFrame，并筛选出符合条件的数据。 ```python from pyspark.sql import Row data = [ Row(name="Alice", age=25, salary=50000), Row(name="Bob", age=30, salary=60000), Row(name="Charlie", age=35, salary=70000) ] df = spark.createDataFrame(data) filtered_df = df.filter(df.age > 30) filtered_df.show() # 输出如下： # +-------+---+------+ # | name|age|salary| # +-------+---+------+ # | Charlie| 35| 70000| # +-------+---+------+ ``` 这是展示如何从原始数据构建 DataFrame 及应用过滤条件的一个例子。 --- #### 题目 6: SQL 查询支持 **问题**: 注册临时表并通过 SQL 查询获取结果。 ```python df.createOrReplaceTempView("employees") query_result = spark.sql(""" SELECT * FROM employees WHERE salary >= 60000 """) query_result.show() ``` 上述方法允许开发者借助熟悉的 SQL 语句查询分布式存储上的大数据集[^1]。 --- ### 总结 以上涵盖了 Spark Python 编程的基础知识点以及实际应用场景下的解法。这些内容能够帮助初学者巩固所学理论知识的同时提升实践能力。