### 快速部署 Flink on Yarn 环境的解决方案 使用 Docker 快速搭建 Flink on Yarn 环境，可以通过以下方法实现。首先需要确保 Hadoop 和 YARN 环境已经通过 Docker 部署完成[^1]。接下来，将 Flink 容器与 Hadoop 的 YARN 集成，以支持 Flink on Yarn 模式。 #### 1. Hadoop 环境准备 在开始之前，必须先部署一个可用的 Hadoop 集群环境。可以参考提供的教程，通过 `docker-compose` 部署 Hadoop 集群[^1]。以下是命令示例： ```bash git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git cd docker-compose-hadoop/hadoop docker-compose up -d ``` 确保 Hadoop 集群正常运行后，可以通过以下命令检查集群状态： ```bash docker-compose ps ``` #### 2. 配置 Flink 镜像 Flink 支持直接运行在 YARN 上，因此需要构建或拉取一个包含 Flink 的 Docker 镜像，并确保该镜像能够正确连接到 Hadoop 集群。如果需要自定义镜像，可以在 Dockerfile 中添加必要的配置文件和依赖项。例如： ```Dockerfile FROM flink:1.14-scala_2.11-java8 # 复制 Flink 配置文件 COPY flink-conf.yaml /opt/flink/conf/flink-conf.yaml # 设置 checkpoint 存储路径（可选） RUN mkdir -p /flink-checkpoints && \ chown -R flink:flink /flink-checkpoints ``` 构建镜像时，需确保容器内的用户权限与 Flink 配置一致[^4]。 #### 3. 配置 Flink on Yarn 为了使 Flink 能够运行在 YARN 上，需要在 Flink 的配置文件中指定 Hadoop 的相关配置。编辑 `flink-conf.yaml` 文件，添加以下内容： ```yaml yarn.application.name: flink-on-yarn fs.defaultFS: hdfs://namenode:9000 yarn.ship-files: ./lib/*.jar ``` 其中，`hdfs://namenode:9000` 是 Hadoop 的 Namenode 地址，需根据实际部署情况进行修改。 #### 4. 启动 Flink on Yarn 在 Hadoop 集群启动并运行后，可以通过以下命令提交 Flink 任务到 YARN： ```bash ./bin/yarn-session.sh -n 2 -jm 1024m -tm 2048m ``` 上述命令表示启动一个包含 2 个 TaskManager 的 YARN 会话，每个 JobManager 分配 1GB 内存，每个 TaskManager 分配 2GB 内存。 #### 5. 验证 Flink on Yarn 环境 启动完成后，可以通过 YARN 的 Web 界面查看 Flink 应用程序的状态。YARN 的默认 Web 界面地址为 `http://<resourcemanager-host>:8088`。 同时，也可以通过 Flink 的 Web 界面监控任务运行情况。Flink 的默认 Web 界面地址为 `http://<jobmanager-host>:8081`。 --- ### 注意事项 - 在构建镜像时，需确保 Flink 版本与 Hadoop 版本兼容。 - 如果使用 Minio 或其他分布式存储作为 checkpoint 存储，需额外配置存储路径和权限[^4]。 - 如果需要将本地文件复制到容器中，可以参考拷贝 JDK 的方法[^3]。 ---