### 使用 Docker 搭建 Spark 集群 #### 安装并配置 Docker 和 Docker Compose 为了顺利搭建 Spark 集群，需提前安装好 Docker 及其编排工具 Docker Compose。确保本地环境已正确设置这两个组件，并能够通过命令行访问。 #### 获取官方镜像与编写 `docker-compose.yml` 文件 从 Docker Hub 上拉取最新的 Apache Spark 官方镜像作为基础构建集群节点。创建一个名为 `docker-compose.yml` 的文件来定义服务架构： ```yaml version: '3' services: master: image: bde2020/spark-master:latest container_name: spark-master ports: - "8080:8080" - "7077:7077" environment: - INIT_DAEMON_STEP=setup_spark worker1: image: bde2020/spark-worker:latest depends_on: - master environment: - SPARK_MASTER_URL=spark://master:7077 ports: - "8081:8081" worker2: image: bde2020/spark-worker:latest depends_on: - master environment: - SPARK_MASTER_URL=spark://master:7077 ports: - "8082:8081" ``` 此配置文件描述了一个简单的两节点 Spark 集群结构[^2]。 #### 启动容器和服务 完成上述准备工作之后，在包含 `docker-compose.yml` 文件的目录下执行如下指令启动整个集群： ```bash $ docker-compose up -d ``` 这会以后台模式启动所有指定的服务实例，并自动下载所需的 Docker 映像（如果尚未存在的话）。此时可以通过浏览器访问 http://localhost:8080 来查看 Master Web UI 页面，确认集群状态是否正常运行。 #### 提交应用程序至 Spark 集群 当集群成功部署完毕后，即可着手准备提交第一个作业给它处理。对于 Java/Scala 应用而言，通常需要先打包成 JAR 文件再上传；而对于 Python 用户来说，则可以直接传递 `.py` 脚本。这里假设已经有一个可执行的任务包 ready.jar 存在于当前路径中，那么可以利用以下 shell 命令将其发送到远程 Spark 环境里去执行： ```bash $ docker cp ./ready.jar spark-master:/opt/ $ docker exec -it spark-master bash -c "/opt/spark/bin/spark-submit \ --class com.example.MainClass \ --master spark://$(docker inspect -f '{{ .NetworkSettings.IPAddress }}' spark-master):7077 \ /opt/ready.jar arg1 arg2..." ``` 以上操作展示了如何将自定义的应用程序加载入基于 Docker 构建起来的分布式计算框架内进行大规模数据集上的运算任务[^3]。