在安装部署 Apache Spark 之前，必须完成一系列前置环境的配置，以确保 Spark 能够正确运行。这些配置主要包括**操作系统环境、Java 环境、集群环境**以及可选的**Scala、Python 和 Hadoop**环境[ref_1][ref_2][ref_3]。下图清晰展示了 Spark 部署的总体依赖关系与核心步骤： ```mermaid flowchart TD A[准备阶段] --> B subgraph B [基础环境配置] B1[配置SSH免密登录<br>（集群模式必需）] B2[安装配置Java 8/11+<br>（必需）] B3[安装配置Hadoop<br>（非必需）] B4[安装配置Scala<br>（非必需）] B5[安装Python & PySpark<br>（非必需）] end B --> C[下载并安装Apache Spark] C --> D[配置Spark环境] D --> D1[配置 spark-env.sh] D --> D2[配置 slaves/workers 文件] D --> E{选择部署模式} E --> F[本地/伪分布式模式] E --> G[Standalone集群模式] E --> H[On YARN/Mesos模式] F --> I[启动Spark服务并验证] G --> I H --> I ``` ### **一、基础环境配置** 这是部署任何模式下的 Spark 都必须完成的步骤。 #### **1. 操作系统与网络** - **操作系统**：常见的 Linux 发行版（如 Ubuntu、CentOS）是生产环境首选[ref_2][ref_5][ref_6]。本文将以 Ubuntu/CentOS 为例。 - **主机名与网络**：确保各节点主机名可被解析，网络互通。对于集群部署，建议在 `/etc/hosts` 文件中配置静态 IP 与主机名映射。 - **SSH 免密登录（集群模式必需）**：在 Standalone 或 YARN 集群模式下，Master 节点需要能通过 SSH 无密码访问所有 Worker 节点，以启动服务[ref_2][ref_5][ref_6]。 ```bash # 在Master节点生成密钥对，并分发到所有节点（包括自身） ssh-keygen -t rsa ssh-copy-id user@master_host ssh-copy-id user@worker1_host ssh-copy-id user@worker2_host ``` #### **2. Java 环境安装（必需）** Spark 运行于 JVM 之上，因此必须安装 **Java 8 或 Java 11**（Spark 官方推荐版本）。可通过 `java -version` 验证[ref_3][ref_4][ref_5]。 **Ubuntu 系统示例**： ```bash # 更新包索引并安装OpenJDK sudo apt update sudo apt install openjdk-8-jdk -y # 验证安装 java -version ``` **CentOS 系统示例**： ```bash # 安装OpenJDK sudo yum install java-1.8.0-openjdk-devel -y # 设置环境变量（通常已自动设置，如需手动） echo "export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))" >> ~/.bashrc source ~/.bashrc echo $JAVA_HOME ``` ### **二、可选依赖环境配置** 根据 Spark 的运行模式和 API 选择，可能需要配置以下环境。 #### **1. Hadoop 环境（非必需，但强烈推荐）** Spark 可以独立运行（Standalone模式），但通常与 Hadoop YARN 集成进行资源调度，并依赖 HDFS 进行持久化存储[ref_1][ref_3][ref_6]。 - **作用**： 1. **存储**：使用 HDFS 作为分布式存储后端。 2. **资源管理**：使用 YARN 作为集群资源管理器（Spark on YARN 模式）。 - **安装**：需先下载并配置 Hadoop，设置 `HADOOP_HOME` 环境变量。 #### **2. Scala 环境（非必需）** Scala 是 Spark 的原生开发语言。如果**不使用 Scala API**，则无需安装 Scala。但如果需要运行使用 Scala 编写的 Spark 应用或源码编译 Spark，则需要安装[ref_2][ref_3]。 ```bash # 示例：在Ubuntu上安装Scala wget https://downloads.lightbend.com/scala/2.12.15/scala-2.12.15.tgz tar -zxvf scala-2.12.15.tgz -C /usr/local/ sudo mv /usr/local/scala-2.12.15 /usr/local/scala # 配置环境变量 echo 'export SCALA_HOME=/usr/local/scala' >> ~/.bashrc echo 'export PATH=$PATH:$SCALA_HOME/bin' >> ~/.bashrc source ~/.bashrc scala -version ``` #### **3. Python 环境与 PySpark** 如需使用 PySpark（Spark 的 Python API），则需要 Python 环境（通常为 Python 3.6+）[ref_4][ref_5]。 ```bash # 检查Python版本 python3 --version # 使用pip安装PySpark（这是一种便捷方式，会同时安装必要的依赖） pip3 install pyspark # 或者，在配置好Spark后，通过设置PYSPARK_PYTHON环境变量指定Python解释器路径 ``` ### **三、Spark 安装与核心配置** 完成前置环境后，即可进行 Spark 本身的安装。 #### **1. 下载与解压** 从 [Apache Spark 官网](https://spark.apache.org/downloads.html) 下载预编译版本（如 `spark-3.x.x-bin-hadoop3.tgz`，该包已包含与常见 Hadoop 版本的集成），并解压到目标目录[ref_1][ref_2][ref_5]。 ```bash # 示例：下载Spark 3.x with Hadoop 3 wget https://archive.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz tar -zxvf spark-3.3.0-bin-hadoop3.tgz -C /usr/local/ sudo mv /usr/local/spark-3.3.0-bin-hadoop3 /usr/local/spark ``` #### **2. 环境变量配置** 为方便使用 Spark 命令，需要配置 `SPARK_HOME` 并将其 `bin` 目录加入 `PATH`[ref_3][ref_4][ref_5]。 ```bash # 编辑 ~/.bashrc 或 /etc/profile echo 'export SPARK_HOME=/usr/local/spark' >> ~/.bashrc echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc source ~/.bashrc ``` #### **3. Spark 配置文件（集群模式关键）** Spark 的主要配置位于 `$SPARK_HOME/conf` 目录下。需要基于模板创建配置文件。 | 配置文件 | 作用 | 核心配置项示例 | | :--- | :--- | :--- | | **`spark-env.sh`** | 设置 Spark 守护进程和工作节点的环境变量。 | `JAVA_HOME`, `SCALA_HOME`, `SPARK_MASTER_HOST`, `SPARK_WORKER_CORES` | | **`workers` (旧版 `slaves`)** | 指定 Standalone 模式下所有 Worker 节点的主机名或 IP。 | `worker1`<br>`worker2` | **配置 `spark-env.sh`**： ```bash cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh vim spark-env.sh ``` 在文件中添加或修改以下关键变量[ref_2][ref_5][ref_6]： ```bash # 指定Java安装路径（必需） export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # 指定Master节点绑定的IP或主机名（集群模式必需） export SPARK_MASTER_HOST=master # 指定Master WebUI端口（默认8080） export SPARK_MASTER_WEBUI_PORT=8080 # 指定每个Worker可用的CPU核数 export SPARK_WORKER_CORES=2 # 指定每个Worker可用的内存（如4G） export SPARK_WORKER_MEMORY=4g # 如果配置了Hadoop，指定其路径 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop ``` **配置 `workers` 文件**： ```bash cp workers.template workers vim workers ``` 删除默认的 `localhost`，添加所有 Worker 节点的主机名[ref_2][ref_6]： ```text worker1 worker2 worker3 ``` ### **四、部署模式选择与启动验证** #### **1. 本地模式（单机测试）** 无需修改 `workers` 文件，`spark-env.sh` 也可保持简单。直接运行以下命令启动一个本地交互环境： ```bash spark-shell # 启动Scala Shell pyspark # 启动Python Shell ``` #### **2. Standalone 集群模式** 在 Master 节点上，执行以下脚本启动集群[ref_2][ref_5]： ```bash # 启动Master和所有Workers $SPARK_HOME/sbin/start-all.sh # 或分开启动 $SPARK_HOME/sbin/start-master.sh $SPARK_HOME/sbin/start-workers.sh ``` 启动后，可通过浏览器访问 Master 节点的 Web UI（默认 `http://master:8080`）查看集群状态。 #### **3. Spark on YARN 模式** 在此模式下，无需启动 Spark 自带的 Master/Worker 守护进程。只需确保 `spark-env.sh` 中正确配置了 `HADOOP_CONF_DIR`。Spark 作业会被提交到 YARN 上运行[ref_1]。 ### **五、验证安装** 通过运行一个简单的示例程序来验证 Spark 是否安装成功。 **使用 Spark Shell 验证**： ```bash # 启动Scala Shell spark-shell # 在Shell中运行以下代码，创建一个RDD并计算 val data = Array(1, 2, 3, 4, 5) val distData = sc.parallelize(data) println(distData.reduce(_ + _)) # 预期输出: 15 ``` **提交独立应用验证**： ```bash # 使用spark-submit提交示例程序 $SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local[2] \ $SPARK_HOME/examples/jars/spark-examples_*.jar \ 10 # 如果一切正常，控制台会输出Pi的近似值 ``` ### **总结** Spark 的前置配置是一个系统性工程。**Java 环境是绝对必需的基石**。对于集群部署，**SSH 免密登录和主机名解析**是前提。Hadoop、Scala、Python 环境则根据实际的技术选型（如是否使用 HDFS、YARN、Scala API 或 PySpark）来决定是否安装。核心在于正确配置 `spark-env.sh` 和 `workers` 文件，以定义集群的资源和拓扑结构。完成这些步骤后，Spark 即可在从单机到大规模集群的不同模式下稳定运行，处理大规模数据[ref_1][ref_2][ref_5][ref_6]。