### 基于 Docker 的 Spark 安装与配置 #### 1. 准备工作 在开始之前，确保已经安装并运行了 Docker。可以通过以下命令验证 Docker 是否正常工作： ```bash sudo docker --version ``` 如果尚未安装 Docker，则需按照官方文档完成安装过程。 对于 Ubuntu 系统，可使用以下命令来安装 Docker[^2]: ```bash sudo apt-get update sudo apt-get install -y docker.io ``` #### 2. 下载 Spark 镜像 可以选择不同的方式获取 Spark 镜像。一种方法是从 `apache` 或者第三方仓库拉取预构建的镜像。以下是两种常见的做法： - **从 Apache 官方仓库拉取最新版 Spark**: ```bash docker pull apache/spark ``` 此命令会自动下载最新的 Spark 版本及其依赖项[^4]。 - **指定特定版本的 Spark** (例如 v2.2): ```bash docker pull singularities/spark:2.2 ``` 该命令适用于需要兼容旧项目的情况[^1]。 #### 3. 启动容器 启动一个交互式的 Spark 容器实例，并挂载本地目录以便数据交换： ```bash docker run -it --name spark-container \ -v $(pwd):/mnt/data \ -p 8080:8080 \ -p 7077:7077 \ apache/spark bash ``` 上述命令解释如下： - `-it`: 提供交互模式。 - `--name spark-container`: 设置容器名称为 `spark-container`。 - `-v $(pwd):/mnt/data`: 将当前主机的工作目录挂载至容器内的 `/mnt/data` 路径。 - `-p 8080:8080`, `-p 7077:7077`: 映射宿主机端口到容器内部服务使用的端口号。 #### 4. 初始化 PySpark 开发环境 为了支持 Python 应用程序开发，在所有计算节点上都需要设置统一的 Conda 虚拟环境以及必要库文件。具体步骤如下所示: - 创建名为 `spark` 的新虚拟环境: ```bash conda create -n spark python=3.8 ``` - 激活新建好的虚拟环境: ```bash conda activate spark ``` - 安装所需的 Python 包括但不限于 Pyspark 和 NumPy: ```bash pip install pyspark==3.1.2 numpy flask hdfs3 ``` 最后一步非常重要——同步这些更改后的软件包列表给集群中的每一个 worker 节点。假设目标机器分别为 `slave1` 和 `slave2` ，那么可以借助 SCP 工具实现自动化复制功能: ```bash scp -r /root/miniconda3/envs/spark slave1:/root/miniconda3/envs/ scp -r /root/miniconda3/envs/spark slave2:/root/miniconda3/envs/ ``` #### 5. 测试部署效果 进入刚刚创建出来的容器之后，尝试提交一段简单的 WordCount 示例代码测试整个流程是否成功贯通: ```python from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("wordcount").setMaster("local[*]") sc = SparkContext(conf=conf) text_file = sc.textFile("/mnt/data/input.txt") counts = text_file.flatMap(lambda line: line.split())\ .map(lambda word: (word, 1))\ .reduceByKey(lambda a,b:a+b) output = counts.collect() for (word,count) in output: print(f"{word}: {count}") ``` 保存这段脚本作为 `word_count.py` 文件上传至共享存储区域 (`$(pwd)/input.txt`) 。接着通过 CLI 执行它观察输出结果: ```bash python /mnt/data/word_count.py ``` --- ### 注意事项 当遇到网络连接失败或者资源不足等问题时，请检查以下几个方面： - 宿主机分配给 Docker 的 CPU/Memory 数量是否充足； - SSH Tunneling 参数设定是否有误； - Master Node 和 Worker Nodes 之间的通信状态良好与否； 如果有任何疑问都可以查阅参考资料进一步了解细节[^3]。