### ZooKeeper 与 Kafka MirrorMaker 集群复制配置 Kafka MirrorMaker 是一种用于跨集群消息同步的工具，其核心机制是通过消费者从源 Kafka 集群中读取消息，并通过生产者将这些消息重新发布到目标 Kafka 集群[^2]。ZooKeeper 在这个过程中扮演了协调者的角色，用于管理 Kafka 集群的元数据和状态信息。 #### 1. **基本配置流程** - **添加 Kafka MirrorMaker 服务** 在 CDH 环境中，首先需要添加 Kafka MirrorMaker 服务，该服务负责处理两个 Kafka 集群之间的消息同步任务。 - **配置源集群和目标集群参数** - **Destination Broker List**：指定目标 Kafka 集群的 Broker 列表。 - **Source Broker List**：指定源 Kafka 集群的 Broker 列表。 - **Topic Whitelist**：定义需要同步的 Topic 名称列表，支持使用正则表达式进行匹配。 - **ZooKeeper 地址配置** 需要分别配置源集群和目标集群的 ZooKeeper 地址，确保 MirrorMaker 能够正确连接并获取集群元数据信息。 - **安全配置（如 SASL_SSL）** 如果源 Kafka 集群启用了 SASL_SSL 安全认证，则需要在 MirrorMaker 的配置文件中设置相应的安全协议和认证参数，以保证 MirrorMaker 能够正常访问源集群。 - **重启 MirrorMaker 服务** 完成所有配置后，重启 Kafka MirrorMaker 服务以应用新的配置。 #### 2. **关键配置示例** 以下是一个典型的 `mirror-maker.properties` 配置文件示例： ```properties # 源 Kafka 集群配置 num.streams=1 source.cluster.bootstrap.servers=source-broker1:9092,source-broker2:9092 source.cluster.zookeeper.connect=source-zk1:2181,source-zk2:2181 # 目标 Kafka 集群配置 target.cluster.bootstrap.servers=target-broker1:9092,target-broker2:9092 target.cluster.zookeeper.connect=target-zk1:2181,target-zk2:2181 # 需要同步的 Topic 列表 topics=my-topic1,my-topic2 topics.whitelist=my-topic.* ``` 如果启用了 SASL_SSL 认证，则还需要在配置文件中添加如下内容： ```properties # SASL_SSL 配置 source.cluster.security.protocol=SASL_SSL source.cluster.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="user" password="password"; source.cluster.ssl.truststore.location=/path/to/truststore.jks source.cluster.ssl.truststore.password=truststore_password ``` #### 3. **ZooKeeper 的作用** ZooKeeper 在 Kafka 集群中主要用于以下几个方面： - **Broker 注册与发现**：每个 Kafka Broker 启动时都会向 ZooKeeper 注册自己的信息，其他组件可以通过 ZooKeeper 获取 Broker 的地址信息。 - **Topic 元数据管理**：ZooKeeper 存储了 Kafka 集群中所有 Topic 的分区信息、副本分配等元数据。 - **消费者组协调**：Kafka 消费者组的状态（如消费进度、分区分配等）也由 ZooKeeper 进行协调和存储。 在 MirrorMaker 的场景中，ZooKeeper 用于确保源集群和目标集群之间的元数据一致性，以及 MirrorMaker 实例之间的协调工作。 #### 4. **验证配置** 完成配置后，可以使用以下命令来启动 MirrorMaker： ```bash bin/kafka-mirror-maker.sh --consumer.config config/mirror-maker-source.properties --producer.config config/mirror-maker-target.properties --whitelist "my-topic.*" ``` 启动后，可以通过查看日志文件确认 MirrorMaker 是否成功连接源集群和目标集群，并开始同步消息。 此外，还可以通过 Kafka 命令行工具验证目标集群是否收到了来自源集群的消息： ```bash bin/kafka-console-consumer.sh --bootstrap-server target-broker1:9092 --topic my-topic1 --from-beginning ``` ---