保姆级教程Docker部署Zookeeper模式的Kafka镜像

企业开发 2025-04-11 19:52
0 阅读

目录

一、安装Docker及可视化工具

二、Docker部署Zookeeper

三、单节点部署

1、创建挂载目录

2、命令运行容器

3、Compose运行容器

4、查看运行状态

5、验证功能

四、部署可视化工具

1、创建挂载目录

扫描二维码关注公众号，回复： 17607854 查看本文章

2、Compose运行容器

3、查看运行状态

一、安装Docker及可视化工具

为了简化安装过程并确保环境一致性，推荐使用 Docker 来本地部署 Kafka。这不仅能够快速启动服务，还能有效解决不同操作系统之间的兼容性问题，采用隔离环境的方式，避免了因环境差异导致的问题。

二、Docker部署Zookeeper

三、镜像选择

Apache Kafka 的原始创建者是 Jay Kreps、Neha Narkhede 和 Jun Rao，他们最初在 LinkedIn 开发了 Kafka，后来将其开源并捐赠给了 Apache 软件基金会。之后，他们创立了 Confluent 公司，专注于 Kafka 的商业化支持和扩展。作为 Kafka 生态系统的核心贡献者，Confluent 提供了许多增强工具和服务，其中包括 confluentinc/cp-kafka 镜像。

confluentinc/cp-kafka 集成了 Kafka 及其生态系统工具，适合企业级使用。

截至 Confluent Platform 7.5，ZooKeeper 已不再用于新部署。Confluent 推荐在新部署中使用 KRaft 模式。因此这里选择了 confluentinc/cp-kafka:7.3.10 镜像。

四、单节点部署

1、创建挂载目录

# 创建宿主机kafka挂载目录
sudo mkdir -p /data/docker/kafka

2、命令运行容器

# 拉取镜像
sudo docker pull confluentinc/cp-kafka:7.3.10

# 运行容器
sudo docker run --privileged=true \
--net=zk-net \
-d --name=kafka \
-v /data/docker/kafkat/data:/bitnami/kafka/data \
-p 9092:9092 -p 19092:19092 -p 29092:29092 \
-e TZ=Asia/Shanghai \
-e KAFKA_BROKER_ID=1 \
-e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
-e KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL \
-e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT \
-e KAFKA_ADVERTISED_LISTENERS=INTERNAL://192.168.3.9:9092,EXTERNAL://192.168.3.9:29092 \
-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
-e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 \
-e KAFKA_JMX_HOST=192.168.3.9 \
-e KAFKA_JMX_PORT=19092 \
confluentinc/cp-kafka:7.3.10

参数解析如下：

参数 参数说明
docker run 运行 Docker 容器
-d 容器将在后台运行，而不是占用当前的终端会话
--privileged=true Docker会赋予容器几乎与宿主机相同的权限
--net=zk-net 网络模式配置，加入Zookeeper容器创建的网络，以便容器间通讯
--name kafka 给容器命名为 kafka，以便于管理和引用该容器
-p 9092:9092 -p 19092:19092 -p 29092:29092 映射 kafka 的客户端通信端口

-e KAFKA_ZOOKEEPER_CONNECT=

zookeeper:2181

 zookeeper的连接地址
-e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP= INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT 配置Kafka监听器的安全协议映射，内部网络和外部网络都采用未加密的明文协议

-e KAFKA_ADVERTISED_LISTENERS=

INTERNAL://192.168.3.9:9092,

EXTERNAL://192.168.3.9:29092

配置了 Kafka 对外公开的监听地址和协议，

INTERNAL://192.168.3.9:9092：表示对内提供服务的地址。
EXTERNAL://192.168.3.9:29092：表示对外提供服务的地址，需要修改为对应的ip地址。

-e KAFKA_INTER_BROKER_LISTENER_NAME=

INTERNAL

 表示 Kafka Broker 之间的通信将使用 INTERNAL 监听器
-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 配置主题的副本因子，表示主题的每个分区在集群中有多少个副本，在单节点测试环境中，可以将副本因子设置为 1，以减少资源开销
-e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 配置消费者组在初始加入或重新平衡（Rebalance）时的延迟行为，默认值为 3000 毫秒；在测试环境中，如果需要快速触发重平衡，可以将该参数设置为 0，以立即执行重平衡。
- KAFKA_JMX_HOST=192.168.3.9 配置Kafka进程的JMX监控地址
- KAFKA_JMX_PORT=19092 配置Kafka进程的JMX监控端口

3、Compose运行容器

创建docker-compose.yml文件

sudo touch /data/docker/kafka/docker-compose.yml

文件内容如下： 

version: '3'

networks:
  zk-net:
    external: true  # 标记这个网络是外部网络

services:
  kafka:
    image: confluentinc/cp-kafka:7.3.10
    container_name: kafka
    ports:
      - "9092:9092"
      - "19092:19092"
      - "29092:29092"
    environment:
      - TZ=Asia/Shanghai
      - KAFKA_BROKER_ID=1
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL
      - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      - KAFKA_ADVERTISED_LISTENERS=INTERNAL://192.168.3.9:9092,EXTERNAL://192.168.3.9:29092
      - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
      - KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0
      - KAFKA_JMX_HOST=192.168.3.9
      - KAFKA_JMX_PORT=19092
    privileged: true
    networks: 
      - zk-net

运行容器

#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d

4、查看运行状态

5、验证功能

验证步骤如下，分别创建一个生产者和一个消费者，查看消费者是否能够收到生产者生产的消息

# 1.进入kafka容器内
sudo docker exec -it kafka /bin/bash

# 2.进入bin目录
cd /usr/bin

# 3.生产消息
./kafka-console-producer --topic test01 --bootstrap-server localhost:9092

# 3.消费消息
./kafka-console-consumer --topic test01 --from-beginning --bootstrap-server localhost:9092 --group group01

# 查询主题列表
./kafka-topics --bootstrap-server localhost:9092 --list

# 查询消费组列表
./kafka-consumer-groups --bootstrap-server localhost:9092 --list

 生产消息

消费消息

验证结果表明，kafka部署正常，可正常生产和消费消息

五、部署可视化工具

Zookeeper模式的Kafka推荐使用Kafka Eagle进行可视化管理。Kafka Eagle 是一款开源的 Kafka 监控和管理工具，主要用于监控 Kafka 集群的健康状态、性能指标以及管理主题和消费者组。

1、创建挂载目录

# 创建宿主机kafka-eagle挂载目录
sudo mkdir -p /data/docker/kafka-eagle

2、Compose运行容器

创建docker-compose.yml文件

sudo touch /data/docker/kafka-eagle/docker-compose.yml

文件内容如下：

version: '3'

networks:
  zk-net:
    external: true  # 标记这个网络是外部网络

services:
  kafka-eagle:
    image: nickzurich/efak:3.0.1
    container_name: kafka-eagle
    ports:
      - "8048:8048"
    environment:
      - TZ=Asia/Shanghai
      - EFAK_CLUSTER_ZK_LIST=zookeeper:2181
    volumes:
      - /data/docker/kafka-eagle/config:/opt/efak/conf
      - /data/docker/kafka-eagle/data:/hadoop/efak/db
    privileged: true
    networks: 
      - zk-net

运行容器

#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka-eagle/docker-compose.yml up -d

3、查看运行状态

http://192.168.3.9:8048

用户名密码：admin/123456

猜你喜欢

目录

热门文章