### 使用 Docker 部署 Apache Airflow #### 准备环境 为了使用 Bitnami 获取完全配置的 Apache Airflow Docker 开发堆栈，需了解其架构。Apache Airflow 主要由三个组件构成：应用程序、工作者和服务调度器，每个组件都拥有独立的 Docker 映像来实现服务隔离[^1]。 #### 创建必要的文件结构 项目目录应包含多个子目录用于不同目的，如 `docker` 文件夹下放置与 Bitnami-Apache-Airflow 版本对应的资源文件；而 `dags` 文件夹则用来存储具体的任务脚本实例 `tutorial.py`。此外，根目录中的 `docker-compose.yml` 是整个容器编排的关键配置文件。 ```yaml version: '3' services: postgresql: image: 'bitnami/postgresql:latest' environment: - POSTGRESQL_USERNAME=bn_airflow - POSTGRESQL_DATABASE=bitnami_airflow volumes: - 'postgresql_data:/bitnami/postgresql' redis: image: 'bitnami/redis:latest' ports: - '6379:6379' command: ["redis-server", "--appendonly", "yes"] volumes: - 'redis_data:/bitnami/redis/data' webserver: image: 'bitnami/apache-airflow:latest' depends_on: - postgresql - redis ports: - '8080:8080' environment: - AIRFLOW_FERNET_KEY= - AIRFLOW_SECRET_KEY= scheduler: image: 'bitnami/apache-airflow:latest' depends_on: - postgresql - redis entrypoint: /bin/bash command: > -c " airflow db init && airflow users create --username admin --firstname FIRST_NAME --lastname LAST_NAME --email EMAIL@example.com --role Admin --password PASSWORD && exec airflow scheduler" worker: image: 'bitnami/apache-airflow:latest' depends_on: - postgresql - redis entrypoint: /bin/bash command: > -c "exec celery worker --app=airflow.executors.celery_executor.app --concurrency=${CELERY_CONCURRENCY:-4} --queues=default,high,machine_learning" volumes: postgresql_data: redis_data: ``` 此示例展示了如何通过 `docker-compose.yml` 来设置 PostgreSQL 数据库、Redis 消息代理以及 Airflow Web Server、Scheduler 和 Worker 的基本运行环境。 #### 自定义 Dockerfile (可选) 如果需要修改默认行为，则可以通过复制模板并编辑相应的 Dockerfile 实现定制化需求： ```bash cp Dockerfile.template Dockerfile vi Dockerfile ``` 上述命令会创建一个新的 Dockerfile 并打开文本编辑器以便于进一步调整镜像构建过程[^2]。 #### 启动服务 当所有的准备工作完成后，在项目的根目录执行以下指令即可启动所有关联的服务： ```bash docker-compose up -d ``` 这将会以后台模式启动所有指定的服务，并使它们保持持续运行状态直到手动停止。 #### 访问应用 一旦部署成功，默认情况下可通过浏览器访问位于本地主机上的 Airflow Web UI (`http://localhost:8080`) 进行管理操作。