### 使用 Docker 搭建 Hadoop、Hive 和 Spark 集成环境 #### 准备工作 为了成功搭建 Hadoop、Hive 和 Spark 的集成环境，需要先安装并配置好 Docker 和 Docker Compose 工具。以下是具体的准备工作： - 下载 `docker-compose` 并赋予其可执行权限： ```bash curl -L https://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose ``` 这一步确保了能够通过命令行管理多容器应用[^1]。 - 关闭 SELinux 或者将其设置为宽容模式以减少不必要的干扰: ```bash setenforce 0 ``` #### 创建 Dockerfile 和 Configuration 文件 创建必要的配置文件来定义各个服务之间的关系及其运行参数。下面是一个简单的例子展示如何构建这些组件的基础镜像和服务描述符 (Compose file)。 ##### Docker Compose File (`docker-compose.yml`) ```yaml version: '3' services: namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 container_name: namenode ports: - "9870:9870" - "8020:8020" volumes: - ./hdfs/namenode:/data environment: - CLUSTER_NAME=test datanode: image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8 container_name: datanode depends_on: - namenode ports: - "9864:9864" volumes: - ./hdfs/datanode:/hadoop/dfs/data environment: SERVICE_PRECONDITION: namenode:9870 hive-server: image: bde2020/hive:2.3.6-postgresql-metastore container_name: hiveserver ports: - "10000:10000" depends_on: - namenode - datanode environment: HIVE_CORE_CONF_javax_jdo_option_ConnectionURL: jdbc:postgresql://hive-meta-db/metastore HIVE_METASTORE_HOST: hive-meta-db HIVE_SERVER2_THRIFT_PORT: 10000 spark-master: image: bde2020/spark-master:3.1.2-hadoop3.2 container_name: sparkmaster ports: - "7077:7077" - "8080:8080" depends_on: - namenode - datanode spark-worker: image: bde2020/spark-worker:3.1.2-hadoop3.2 container_name: sparkworker depends_on: - spark-master ports: - "8081:8081" environment: SPARK_MASTER_URL: spark://sparkmaster:7077 ``` 上述 YAML 文件定义了一个完整的生态系统，其中包含了 NameNode、DataNode、Hive Server 和 Spark Master Worker 组件[^1][^2]。 #### 启动集群 完成所有的前期准备之后，可以通过如下指令启动整个集群： ```bash docker-compose up -d ``` 这将会以后台方式运行所有指定的服务实例，并初始化相应的存储路径和网络连接。 #### 测试验证 访问 Web UI 来确认各节点的状态是否正常运作。 - HDFS Namenode 状态页面可通过浏览器打开地址 http://localhost:9870 查看； - Spark 主控板则位于 http://localhost:8080 上查看作业调度情况；对于 Hive CLI 客户端，则可以直接进入容器内部测试基本查询功能。 --- ### 注意事项 在实际操作过程中可能会遇到一些常见问题比如版本兼容性或者资源不足等问题，在这种情况下建议调整资源配置大小或是更换稳定版软件组合尝试解决这些问题。