Apache Spark 确实支持运行 Python 脚本。Spark 提供了 PySpark 模块，允许用户使用 Python 编写 Spark 应用程序。PySpark 支持 Spark 的核心功能，包括分布式数据处理、内存计算以及与 Spark SQL、MLlib（机器学习库）和 GraphX（图处理）的集成[^1]。 在 Spark 中运行 Python 脚本时，需要确保以下几点： 1. **Python 解释器配置**： Spark 使用 `PYSPARK_PYTHON` 和 `PYSPARK_DRIVER_PYTHON` 环境变量来指定执行 Python 脚本所使用的解释器。在 Spark 2.4 及以下版本中，默认使用 `python`，而在 Spark 3.0 及以上版本中，默认使用 `python3`。如果系统中有多个 Python 版本，可以通过设置这些环境变量来指定特定版本。例如： ```bash export PYSPARK_PYTHON=python3 export PYSPARK_DRIVER_PYTHON=python3 ``` 2. **依赖管理**： 如果 Python 脚本依赖第三方库，可以通过 `sc.addPyFile()` 方法将依赖文件添加到 SparkContext 中，或者将所有依赖打包为 `.zip` 文件，并在提交作业时通过 `--py-files` 参数指定。例如： ```bash spark-submit --py-files my_dependencies.zip my_script.py ``` 如果某些依赖是自包含模块（即没有其他依赖项），可以直接通过 `addPyFile()` 添加[^4]。 3. **集群部署模式下的兼容性**： 在 YARN 或 Kubernetes 等集群环境中运行 Python 脚本时，需要确保所有工作节点上都安装了相同的 Python 环境和依赖库。否则可能会遇到 `ImportError` 错误。一种常见做法是将 Python 脚本及其依赖打包，并通过 `--archives` 参数分发到各个节点。例如： ```bash spark-submit --archives my_env.tar.gz#environment --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./environment/bin/python3 my_script.py ``` 4. **提交脚本方式**： 使用 `spark-submit` 工具可以轻松提交 Python 脚本。例如： ```bash spark-submit my_script.py ``` 以下是一个简单的 PySpark 示例代码，展示了如何使用 Python 编写 Spark 应用程序： ```python from pyspark.sql import SparkSession # 创建 SparkSession spark = SparkSession.builder \ .appName("PythonWordCount") \ .getOrCreate() # 读取文本文件并进行词频统计 text_file = spark.sparkContext.textFile("input.txt") counts = text_file.flatMap(lambda line: line.split(" ")) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) # 输出结果 counts.saveAsTextFile("output") # 停止 SparkSession spark.stop() ```