### 通过 Docker-Compose 安装和配置 Flink 的教程 #### 准备工作 在开始之前，确保已经安装了 Docker 和 Docker Compose 工具。如果未安装，可以通过官方文档完成安装过程[^3]。 --- #### 创建 `docker-compose.yml` 文件 以下是基于最新版本的 `docker-compose.yml` 配置文件示例： ```yaml version: '3' services: jobmanager: image: flink:latest ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager taskmanager: image: flink:latest depends_on: - jobmanager command: taskmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TASK_SLOTS=2 ``` 此配置定义了一个 JobManager 和 TaskManager 服务，并设置了两个任务槽位（TASK_SLOTS）。可以根据需求调整容器数量和服务参数[^5]。 --- #### 启动 Flink 集群 执行以下命令以启动 Flink 集群： ```bash sudo docker-compose up -d ``` 该命令将以分离模式运行容器。如果需要扩展 TaskManager 实例的数量，可以使用以下命令： ```bash sudo docker-compose scale taskmanager=<number_of_instances> ``` 例如，设置五个 TaskManager 实例： ```bash sudo docker-compose scale taskmanager=5 ``` --- #### 访问 Web Dashboard Flink 提供了一个内置的 Web 界面用于监控集群状态。打开浏览器并访问以下地址： ``` http://<your-ip>:8081 ``` 在此界面中，可以查看作业的状态、指标以及日志信息[^4]。 --- #### 修改 Flink 配置 某些情况下可能需要自定义 Flink 的行为。可以在 `flink-conf.yaml` 中进行必要的更改。例如，增加内存分配或启用高可用功能。具体修改方式可参考官方文档[^1]。 --- #### 测试验证 为了确认集群正常运行，可以从本地提交一个简单的 Flink 作业。假设已编写好 Java 或 Python 编写的程序，则可通过以下命令提交： ```bash curl -X POST -H "Expect:" -F "jarfile=@path/to/your-job.jar" http://localhost:8081/jars/upload ``` 随后，在 Web UI 上可以看到新上传的任务及其运行情况[^2]。 --- #### 常见问题排查 如果遇到无法连接到 Docker Daemon 的错误消息，可能是权限不足所致。尝试加上 `sudo` 权限重新执行命令，或者按照 CSDN 博客中的建议解决环境变量问题[^3]。 ---