### Linux 升级 Python 后配置环境变量以支持 PySpark 运行 在 Linux 系统中，升级 Python 版本后需要正确配置环境变量以便让 PySpark 能够正常工作。以下是详细的说明： #### 配置 `$SPARK_HOME` 和 `$PYTHONPATH` 1. **设置 Spark 主目录 (`$SPARK_HOME`)** 将 Spark 的安装路径赋值给 `$SPARK_HOME` 变量。这可以通过 `export` 命令实现： ```bash export SPARK_HOME=/opt/spark-2.2.1-bin-hadoop2.7 ``` 2. **更新系统路径 (`$PATH`)** 更新系统的 `$PATH` 环境变量，使其包含 Spark 的二进制文件路径以及新版本的 Python 解释器路径： ```bash export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:/usr/local/bin/python3 ``` 3. **调整 Python 搜索路径 (`$PYTHONPATH`)** 设置 `$PYTHONPATH` 使 PySpark 能找到所需的模块和依赖项。通常情况下，该路径应指向 Spark 的 Python 文件夹及其子目录中的 py4j 库： ```bash export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.5-src.zip:$PYTHONPATH ``` 如果不确定具体的 py4j 版本号，可进入对应目录查看实际存在的 zip 文件名[^2]。 #### 使用 Anaconda 或虚拟环境管理工具 对于更复杂的场景（如同时存在多个 Python 版本），推荐借助 Anaconda 或其他虚拟化技术来隔离不同项目所需的不同解释器实例。具体操作如下： 1. 安装并初始化新的 Conda 环境； ```bash bash Anaconda3-latest-Linux-x86_64.sh source ~/.bashrc conda create --name pyspark_env python=3.8 conda activate pyspark_env ``` 2. 修改 PySpark 执行所使用的特定 Python 实例地址； ```bash export PYSPARK_PYTHON=$(which python) export PYSPARK_DRIVER_PYTHON=$(which jupyter-notebook || which ipython) ``` 3. 若通过 Zeppelin 工具调试，则还需额外定义其专属参数集： - spark.home -> `/path/to/your/spark/installation` - zepplin.pyspark.python -> `/full/path/to/activated/virtualenv/bin/python`[^3] 以上步骤完成后记得验证各项设定是否生效，比如启动 shell session 测试交互模式下的基本功能调用。 ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName('test').getOrCreate() print(spark.version) ``` ---