### 下载适配 PySpark 3.5.5 和 JDK 11 的 Spark 版本 根据提供的信息和需求，以下是对适配 PySpark 3.5.5 和 JDK 11 的 Spark 版本的详细说明： PySpark 是 Spark 提供的 Python API，其版本与 Spark 版本紧密相关。在选择 Spark 版本时，需要确保它兼容所使用的 JDK 和 Python 版本。以下是具体步骤和注意事项： #### 兼容性分析 - PySpark 3.5.x 系列支持 Python 3.8+，但存在与 Python 3.12 不兼容的问题[^4]。因此，建议使用 Python 3.10 或 3.9。 - Spark 3.5.x 支持 JDK 8/11/17，其中 JDK 11 是推荐的选择之一[^2]。 - Spark 3.5.x 推荐使用 Hadoop 3.x 作为底层文件系统支持[^2]。 #### 下载步骤 1. **访问 Spark 官方网站** 访问 Spark 官方下载页面（https://spark.apache.org/downloads.html），选择适合的版本。对于 PySpark 3.5.5，可以选择 Spark 3.5.1 或更高版本（如 Spark 3.5.5 发布后可直接选择）[^1]。 2. **选择预编译版本** 在下载页面中，选择“Pre-built for Apache Hadoop 3.x”选项。这将确保 Spark 包含对 Hadoop 3.x 的支持[^2]。 3. **解压并配置环境变量** 下载完成后，将其解压到目标目录，并配置环境变量。例如： ```plaintext JAVA_HOME=C:\path\to\jdk-11 SPARK_HOME=C:\path\to\spark-3.5.1-bin-hadoop3 PATH=%JAVA_HOME%\bin;%SPARK_HOME%\bin;%PATH% ``` 4. **验证安装** 使用以下命令验证 PySpark 是否正常工作： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("Test").getOrCreate() data = [i * 2 for i in range(5)] rdd = spark.sparkContext.parallelize(data) print(rdd.collect()) spark.stop() ``` 如果输出 `[0, 2, 4, 6, 8]`，则表明安装成功[^4]。 #### 注意事项 - 确保 `HADOOP_HOME` 已正确设置，否则可能会出现类似 `Did not find winutils.exe` 的警告信息[^4]。 - 如果运行在 Windows 平台上，需额外下载 Hadoop 的二进制文件并配置路径[^3]。 ### 示例代码 以下是一个简单的 PySpark 脚本示例，用于验证安装是否成功： ```python from pyspark.sql import SparkSession # 创建 SparkSession spark = SparkSession.builder \ .appName("PySpark Example") \ .getOrCreate() # 创建 RDD 并执行操作 data = [1, 2, 3, 4, 5] rdd = spark.sparkContext.parallelize(data) result = rdd.map(lambda x: x * 2).collect() print(result) # 输出：[2, 4, 6, 8, 10] # 停止 SparkSession spark.stop() ```