Kafka安装与配置实战指南.zip

本文还有配套的精品资源，点击获取

简介：Kafka是一个高吞吐量的分布式消息系统，设计用于处理实时数据流。本指南详细介绍了Kafka的安装与配置过程，包括系统要求、解压、配置、启动ZooKeeper和Kafka服务、创建Topic、以及生产者与消费者的基本操作。此外，还涵盖了集群部署、安全配置以及客户端库的使用。通过本教程，读者可以建立起一个基础的Kafka环境，并了解如何进行扩展与优化。

1. Kafka基础架构与实时数据流处理

1.1 Kafka概述

Apache Kafka是一款开源的流处理平台，由LinkedIn公司开发。其主要用途是构建实时数据管道和流应用程序，可以处理高速数据流，并能将数据实时发布和订阅。Kafka的高性能和水平扩展能力使其成为大数据处理的首选技术之一。

1.2 Kafka的核心组件

Kafka核心组件包括主题（Topics）、生产者（Producers）、消费者（Consumers）、代理（Brokers）和ZooKeeper。其中：

• 主题（Topics） ：消息的分类，可以看作是消息的容器。
• 生产者（Producers） ：发布消息到Kafka主题的组件。
• 消费者（Consumers） ：订阅主题并处理发布消息的组件。
• 代理（Brokers） ：运行Kafka服务的服务器，负责处理生产者发送的消息和消费者的请求。
• ZooKeeper ：负责管理Kafka集群的元数据、协调集群中的所有代理节点和消费者组。

1.3 实时数据流处理的原理

在Kafka中，实时数据流处理是通过生产者不断地向主题发送消息实现的，而消费者则从主题中读取消息。Kafka通过其主题和分区的设计，允许并行地处理数据流。这种并行处理机制不仅能够提高吞吐量，还可以在多个消费者之间实现负载均衡。

Kafka的高性能来自于其高效的日志机制和网络协议。消息在写入Kafka时，并不是直接写入磁盘，而是先写入内存中的日志缓冲区，通过批量处理和顺序读写来实现高效的数据写入。此外，Kafka使用零拷贝技术和压缩等技术优化数据传输性能。

总的来说，Kafka在处理实时数据流时，不仅保证了高吞吐量，还能通过水平扩展的方式来增加系统的整体容量。这种架构设计使得Kafka成为处理大规模数据流的理想工具。

2. 系统环境准备

2.1 环境需求分析

2.1.1 硬件与操作系统要求

在安装Apache Kafka之前，必须确定服务器的硬件资源满足Kafka的运行需求。Kafka对硬件的要求取决于它将处理的数据量和消息的复杂性。一般来说，Kafka需要足够的RAM来缓存数据，并且有良好的磁盘I/O性能。在数据流处理繁忙的场景下，建议配置多核CPU以提高处理能力。此外，为了保证高可用性，Kafka往往在多个节点上运行，从而构成集群。

对于操作系统，Kafka在Linux环境下运行最为稳定。尽管它也可以在Windows或者MacOS上运行，但通常不推荐用于生产环境。选择稳定版本的操作系统，并确保操作系统包含最新版的安全补丁。

2.1.2 相关软件与版本兼容性

Kafka依赖于Java环境，因此需要安装Java Runtime Environment (JRE)或Java Development Kit (JDK)。建议使用Oracle JDK 8或更高版本，或者使用OpenJDK。要检查Kafka支持的版本与您的系统环境是否兼容，可以参考Kafka的官方文档。

除了Java，Kafka还需要一个稳定的ZooKeeper集群来维护集群状态和元数据信息。ZooKeeper的版本应与Kafka支持的版本兼容。通常，建议与Kafka相同的主版本号。

2.2 环境搭建前的准备工作

2.2.1 系统配置检查

在开始安装Kafka之前，需要对系统进行一系列检查，确保环境满足安装条件。下面是一个基本的检查列表：

• 确认系统至少有4GB的RAM和足够大的硬盘空间。
• 确认系统上已经安装了Java，并且环境变量设置正确。
• 确认系统中没有与Kafka监听端口（默认为9092）冲突的进程。
• 如果Kafka要在生产环境中使用，建议启用防火墙，并开放Kafka的必要端口。

2.2.2 软件包的下载与安装

为搭建Kafka环境，需要下载Kafka的官方安装包和ZooKeeper的二进制文件。这些文件通常可以在Apache官方网站找到。以下是下载和安装步骤：

# 下载Kafka和ZooKeeper
curl -O ***版本号/kafka_版本号.tgz
curl -O ***版本号/zookeeper-版本号.tar.gz

# 解压安装包
tar -xzf kafka_版本号.tgz
tar -xzf zookeeper-版本号.tar.gz

# 解压后将文件夹移动到适当的目录中
mv kafka_版本号 /path/to/kafka-install-directory
mv zookeeper-版本号 /path/to/zookeeper-install-directory

安装完成后，要进行环境的初始化工作，包括设置环境变量，如 JAVA_HOME ，并且将Kafka和ZooKeeper的bin目录添加到系统路径中。

在继续Kafka安装流程之前，务必确保以上步骤已经正确完成。这些前期准备对后续安装和配置步骤至关重要，将影响到Kafka的稳定性和性能表现。

3. Kafka安装与解压

3.1 Kafka安装步骤详解

3.1.1 解压安装包

解压Kafka安装包是使用其功能的第一步。以下是解压Kafka压缩包的标准过程：

1. 首先，确定下载的Kafka版本并下载相应的安装包。确保下载的版本与操作系统兼容，例如，Kafka可以在Linux、Windows和MacOS上运行。
2. 使用 tar 命令解压Kafka压缩包。以下是具体步骤：

tar -xzf kafka_2.13-2.7.0.tgz

在上述命令中， -x 代表解压， -z 表示处理gzip压缩的文件， -f 后跟文件名。

1. 解压完成后，进入解压后的目录：

cd kafka_2.13-2.7.0

1. 在这个目录中， bin 文件夹包含了启动和运行Kafka所需的脚本。

3.1.2 验证安装环境

验证Kafka安装环境的正确性是确保后续操作顺利进行的必要步骤。以下步骤可以帮助用户验证安装环境：

1. 确认 JAVA_HOME 环境变量是否已正确设置，因为Kafka运行需要Java环境。可以通过打印 JAVA_HOME 变量来检查：

echo $JAVA_HOME

1. 确保Java版本与Kafka版本兼容。运行以下命令来检查Java版本：

java -version

1. 使用Kafka提供的 kafka-server-start.sh 脚本来启动Kafka服务。在启动之前，需要指定Kafka配置文件的位置：

bin/kafka-server-start.sh config/server.properties &

1. 确认Kafka服务是否成功启动，可以通过检查日志文件来确认。日志文件一般位于 logs 目录。

2. 使用 kafka-topics.sh 脚本来创建一个测试Topic：

bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092

如果以上步骤执行成功，表示Kafka已经安装并配置正确。

3.2 环境变量配置与初步测试

3.2.1 配置环境变量

配置环境变量使得可以在任何目录下通过命令行访问Kafka的相关命令。以下是配置环境变量的步骤：

1. 打开用户的shell配置文件，如 .bashrc （Bash shell）或 .zshrc （Zsh shell）。

nano ~/.bashrc  # 或者 vi ~/.bashrc

1. 在文件的末尾添加Kafka安装目录的路径到 PATH 环境变量。

export PATH=$PATH:/path/to/kafka_2.13-2.7.0/bin

1. 保存并关闭文件，然后应用更改到当前shell会话：

source ~/.bashrc

现在，应该能够在命令行中直接访问Kafka的命令了。

3.2.2 运行Kafka相关命令进行测试

配置完环境变量之后，可以通过运行Kafka的命令来测试环境是否配置正确。以下是运行一些基础命令的步骤：

1. 检查Kafka命令是否能够正常执行：

kafka-topics.sh --list --bootstrap-server localhost:9092

这个命令会列出所有已存在的Topic，如果你是第一次运行，应该会返回空列表。

1. 创建一个新的Topic来测试命令：

kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092

1. 描述刚才创建的Topic来验证它是否创建成功：

kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

输出应该显示了该Topic的详细信息，如分区数、副本数、领导者和_ISR（In-Sync Replicas）信息。

1. 发送消息到Topic测试生产者功能：

kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

在打开的生产者命令行界面输入一些消息，每输入一条消息并按下回车，就会发送到Topic。

1. 最后，使用消费者命令接收刚才发送的消息：

kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

你应该能看到之前发送的消息依次显示在命令行界面中。

通过以上步骤，Kafka的安装和配置就可以认为是成功的，并且确保了基本的运行环境。接下来，我们可以进一步深入到配置文件的配置以及Kafka集群的部署中去。

4. Kafka配置文件关键参数设置

4.1 server.properties配置文件详述

在Kafka的安装目录下， server.properties 文件是关键的配置文件，它定义了Kafka服务器的核心行为和特性。这个文件需要根据实际的使用场景进行调整。下面，我们将详细探讨server.properties文件中的关键参数，并了解它们的作用。

4.1.1 核心参数解析

broker.id ：Kafka集群中每个broker的唯一标识。这个ID在集群中必须是唯一的，通常在第一次运行broker时随机生成，并在之后的重启中保持不变。

listeners ：这个参数用于指定Kafka broker监听的网络地址和端口。格式可以是 PLAINTEXT://host:port 、 SSL://host:port 等，表示不同安全协议下的监听方式。

log.dirs ：Kafka将消息存储在磁盘上，这个参数指定Kafka存储日志文件的目录。通常需要设置为高性能的磁盘，以便快速读写。

zookeeper.connect ：这个参数定义了Kafka broker连接到ZooKeeper集群的方式。格式通常是 host1:port1,host2:port2,host3:port3/chroot ，其中 chroot 是ZooKeeper中的一个路径，用于隔离Kafka数据。

4.1.2 安全参数配置

ssl.* 系列参数：当使用SSL/TLS加密通信时，这些参数用于配置Kafka使用的密钥库和信任库，以及相关的密钥密码等。例如：

ssl.keystore.location=/path/to/ssl/keystore
ssl.keystore.password=keystorepassword
ssl.truststore.location=/path/to/ssl/truststore
ssl.truststore.password=truststorepassword

authorizer.class.name ：这个参数定义了Kafka用于授权的类，例如 kafka.security.auth.SimpleAclAuthorizer 。授权机制用于控制用户对Kafka资源的访问权限。

super.users ：当启用授权时，可以定义一个或多个具有超级用户权限的用户列表。这些用户可以访问所有主题和执行所有操作。

4.2 其他配置文件介绍

4.2.1 log4j.properties的配置与作用

在Kafka的日志管理中， log4j.properties 是用来配置日志输出细节的文件。它定义了日志的级别、输出格式以及目标。例如，不同的日志级别可以控制是否记录DEBUG、INFO、WARN、ERROR等信息。

log4j.rootLogger=INFO, stdout, file

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d] %p %m (%c)%n

log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=kafkaapp.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=[%d] %p %m (%c)%n

4.2.2 zookeeper.properties的配置与作用

尽管Kafka自带了ZooKeeper实例，但在生产环境中，建议使用独立的ZooKeeper集群。如果需要为独立的ZooKeeper集群配置参数，可以使用 zookeeper.properties 文件。这个文件定义了ZooKeeper的运行环境和行为，例如数据目录、客户端端口、tick时间等。

dataDir=/var/lib/zookeeper
clientPort=2181
tickTime=2000
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

在 zookeeper.properties 文件中， server.X 参数格式定义了集群中每个ZooKeeper服务器的信息。其中，X是服务器的myid，2888用于集群内部通信，3888用于选举的leader。

通过合理配置 zookeeper.properties 文件中的参数，可以优化ZooKeeper的性能和集群的稳定性。接下来，我们将进入第五章，深入了解如何启动和管理ZooKeeper。

5. ZooKeeper启动与管理

ZooKeeper 是一个开源的分布式协调服务，被广泛用于实现分布式系统的配置管理、命名服务、分布式锁以及集群管理等功能。在 Kafka 中，ZooKeeper 是其分布式流处理架构中不可或缺的组件，负责维护 Kafka 集群的元数据和状态信息。Kafka 依赖 ZooKeeper 实现了集群中 broker、topic 和 partition 的动态注册与发现。理解 ZooKeeper 的基本概念和管理方法对于维护 Kafka 集群的稳定运行至关重要。

5.1 ZooKeeper的基本概念与作用

5.1.1 ZooKeeper的角色与功能

ZooKeeper 作为一个分布式协调服务，扮演着几个关键角色：

• 协调者（Coordinator） ：ZooKeeper 维护了节点之间的一致性，保证在分布式环境中多个节点状态的一致性。在 Kafka 中，broker 之间的协调就依赖于 ZooKeeper。

• 注册中心（Registry） ：ZooKeeper 提供了节点注册和发现机制，Kafka 使用 ZooKeeper 来追踪各个 broker、topic 和 consumer group 的信息。

• 领导者选举（Leader Election） ：在 Kafka 集群中，各个 broker 之间的领导者选举是通过 ZooKeeper 来实现的。选举出的 leader broker 负责分区的读写操作。

• 同步器（Synchronizer） ：Kafka 使用 ZooKeeper 来同步消费者和生产者之间的消息偏移量（offset），确保数据的一致性。

5.1.2 ZooKeeper与Kafka的关系

ZooKeeper 对 Kafka 的作用可以概括为以下几个方面：

• 元数据管理 ：Kafka 使用 ZooKeeper 存储 broker、topic 和 partition 的元数据。这些信息在 Kafka 启动时读取，并在运行时动态更新。

• 负载均衡与故障转移 ：ZooKeeper 帮助 Kafka 实现负载均衡，当 broker 宕机时，负责通知集群中的其他 broker 重新选举分区领导者。

• 消息偏移量同步 ：ZooKeeper 在消费者和生产者之间同步偏移量，保证消息的消费状态在故障情况下不会丢失。

5.2 ZooKeeper的配置与启动

5.2.1 ZooKeeper配置文件解析

在启动 ZooKeeper 之前，需要编辑其配置文件 zoo.cfg 。这个文件位于 ZooKeeper 安装目录下的 conf 文件夹内。以下是一些关键配置项的说明：

# ZooKeeper服务器的IP地址和监听端口
server.1=***.*.*.*:2888:3888

# tickTime是ZooKeeper中使用的基本时间单位，以毫秒为单位。
tickTime=2000

# ZooKeeper的最大容忍时间，用来控制server可以离群多久（以tickTime的倍数来计算）
initLimit=5

# 在进行领导者选举时，follower与leader之间发送消息所能容忍的最大延时
syncLimit=2

# ZooKeeper数据目录，存储内存数据快照以及事务日志
dataDir=/var/lib/zookeeper

# 客户端连接服务器的超时时间
clientPort=2181

配置完成后，需要在每个 ZooKeeper 服务器的 myid 文件中添加一个与 server.x 配置项中 x 相对应的唯一标识。

5.2.2 启动ZooKeeper服务并验证

配置好 zoo.cfg 文件后，可以启动 ZooKeeper 服务。在 ZooKeeper 的安装目录下，使用以下命令启动服务：

bin/zkServer.sh start

服务启动后，可以使用 ZooKeeper 自带的客户端工具进行验证：

bin/zkCli.sh -server ***.*.*.*:2181

此时，应该能看到 ZooKeeper 的命令行界面，可以输入 ls / 命令列出根目录下的所有节点，如果能看到节点，则表明 ZooKeeper 服务已经正常运行。

[zk: ***.*.*.*:2181(CONNECTED) 1] ls /
[zookeeper]

至此，我们已经完成了 ZooKeeper 的基本配置和启动过程，并通过客户端工具验证了服务的正常运行。在接下来的章节中，我们将继续深入探讨 Kafka 集群的部署和优化策略，以及 Kafka 安全机制和客户端库的使用。

6. ```

第六章：Kafka服务启动与Topic创建

6.1 Kafka服务的启动与停止

Kafka服务的启动与停止是日常运维中的常见任务。正确掌握这一过程对于确保消息队列系统的稳定运行至关重要。

6.1.1 Kafka服务的启动命令

启动Kafka服务可以通过使用命令行工具来完成。确保Kafka的安装路径已经添加到环境变量PATH中，这样可以在任何目录下执行Kafka的命令。以下是启动Kafka服务的命令：

bin/kafka-server-start.sh config/server.properties

在这个命令中， bin/kafka-server-start.sh 是启动服务的脚本， config/server.properties 包含了Kafka服务运行所需的配置参数。如果更改了服务的配置文件位置，需要在命令中指定正确的路径。

参数说明

• bin/kafka-server-start.sh : Kafka提供的启动脚本。
• config/server.properties : Kafka服务的配置文件，可以指定不同的参数来调整服务行为。

逻辑分析

上述命令执行后，Kafka服务将启动，并根据 server.properties 中的配置参数开始监听端口，等待客户端的连接。

6.1.2 Kafka服务的停止与故障排查

Kafka服务的停止通常也很简单，但可能会遇到服务无法正常停止的情况。此时需要掌握一定的故障排查技巧来解决问题。

要正常停止Kafka服务，可以使用以下命令：

bin/kafka-server-stop.sh

参数说明

• bin/kafka-server-stop.sh : Kafka提供的停止服务脚本。

逻辑分析

若Kafka服务未能正常响应停止命令，可能是由于有活跃的连接或者某些进程没有正确结束。此时，首先检查日志文件，查看是否有关于停止失败的错误信息。日志文件通常位于Kafka的安装目录下的 logs 文件夹中。

如果日志文件中没有相关信息，可以使用 kill 命令强制结束Kafka进程。需要知道进程的PID，可以使用 jps 或 ps 命令查找。之后，执行如下命令：

kill -9 <PID>

其中 <PID> 替换为进程ID。强制结束进程是一个选项，但在常规情况下应当避免使用，因为这可能会导致数据丢失或损坏。

6.2 Topic的创建与管理

6.2.1 创建Topic的命令与参数

Kafka的Topic是消息的分类，不同类型的Topic可以用来存放不同类型的数据。创建Topic的命令如下：

bin/kafka-topics.sh --create --topic <topic_name> --partitions <num_partitions> --replication-factor <num_replicas> --config <key>=<value> --zookeeper <zookeeper_host>:<port>

参数说明

• --create : 指定创建Topic。
• --topic <topic_name> : 指定要创建的Topic名称。
• --partitions <num_partitions> : 指定Topic的分区数。
• --replication-factor <num_replicas> : 指定副本因子数。
• --config <key>=<value> : 可以用来设置Topic的额外配置参数。
• --zookeeper <zookeeper_host>:<port> : 指定连接ZooKeeper的地址和端口。

逻辑分析

执行该命令后，Kafka会在ZooKeeper中记录Topic的相关信息，并在Kafka集群中分配相应的分区和副本。分区数和副本因子数可以根据业务需求和集群规模进行调整。

6.2.2 管理Topic的常用命令与操作

创建Topic之后，还需要掌握一些常用的管理命令，以确保Topic能够正常工作。

查看Topic列表：

bin/kafka-topics.sh --list --zookeeper <zookeeper_host>:<port>

查看Topic详细信息：

bin/kafka-topics.sh --describe --topic <topic_name> --zookeeper <zookeeper_host>:<port>

删除Topic：

bin/kafka-topics.sh --delete --topic <topic_name> --zookeeper <zookeeper_host>:<port>

修改Topic：

bin/kafka-topics.sh --alter --topic <topic_name> --partitions <new_num_partitions> --zookeeper <zookeeper_host>:<port>

参数说明

• --list : 列出所有Topic。
• --describe : 显示Topic的详细信息，包括分区、副本等。
• --delete : 删除指定的Topic。
• --alter : 修改指定Topic的相关参数。

逻辑分析

使用 --describe 选项可以获取Topic的详细信息，这对于理解Topic的状态、分区分布和副本位置非常有帮助。修改Topic时，需要注意的是，只有在Topic没有消息的情况下才能修改分区数，因为Kafka不支持对已有消息进行分区操作。

以上列出的命令和参数应当结合实际使用场景灵活运用，以达到最佳的Topic管理效果。

# 7. 生产者与消费者基本操作示例

## 7.1 生产者（Producer）的操作实践

### 7.1.1 生产者的基本概念与作用

Kafka生产者负责将数据发送到Kafka集群的Topic中，它是分布式流处理系统的数据输入端。生产者通过定义良好的API与Kafka集群交互，允许用户按照指定的格式将消息发布到一个或多个Topic。它在系统中扮演着至关重要的角色，能够处理高吞吐量的数据，并具有良好的扩展性。

### 7.1.2 生产者代码示例与运行

下面是一个简单的生产者代码示例，使用了Kafka官方提供的Java客户端库。

```java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.ProducerConfig;
***mon.serialization.StringSerializer;

import java.util.Properties;

public class SimpleProducer {
    public static void main(String[] args) {
        // 配置生产者属性
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 创建Kafka生产者实例
        KafkaProducer<String, String> producer = new KafkaProducer<>(props);

        // 创建消息记录
        String topic = "test-topic";
        String key = "test-key";
        String value = "Hello Kafka";

        ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, value);

        try {
            // 发送消息
            producer.send(record);
            System.out.println("Sent message with key " + key);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 关闭生产者
            producer.close();
        }
    }
}

在运行上述代码之前，请确保Kafka服务正在运行并且环境配置正确。本示例中创建了一个消息，指定Topic为 test-topic ，并发送了消息内容为 Hello Kafka 的记录。之后，代码会尝试发送这个记录，并且在成功发送后关闭生产者。

7.2 消费者（Consumer）的操作实践

7.2.1 消费者的原理与关键配置

Kafka消费者订阅一个或多个Topic，并持续从这些Topic中拉取数据。消费者通过分组（Group）机制来实现负载均衡和故障转移。当一个消费者组内的消费者数量发生变化时，Kafka会自动进行分区的重新分配。消费者组之间的消费者互不影响。

消费者配置中关键的参数包括： - bootstrap.servers ：连接到Kafka集群的初始服务器列表。 - group.id ：消费者所属的消费者组的ID。 - key.deserializer 和 value.deserializer ：用于反序列化消息键和消息体的反序列化类。

7.2.2 消费者代码示例与运行

以下是一个简单的消费者代码示例，展示了如何使用Kafka的Java客户端库来消费消息。

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;
***mon.serialization.StringDeserializer;

import java.util.Collections;
import java.util.Properties;

public class SimpleConsumer {
    public static void main(String[] args) {
        // 配置消费者属性
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

        // 创建Kafka消费者实例
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅Topic
        String topic = "test-topic";
        consumer.subscribe(Collections.singletonList(topic));

        // 轮询消息
        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(100);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

在运行上述代码前，请确保Kafka服务运行正常并且有数据可消费。本示例中，消费者订阅了 test-topic ，并持续轮询该Topic的新消息。每收到一条消息，它会打印出消息的偏移量、键和值。

消费者代码示例中使用了轮询方式（ poll() 方法）来获取消息，这种方式是实现Kafka消费者的主要方法，它允许消费者根据需要控制消息的接收频率。

本文还有配套的精品资源，点击获取

简介：Kafka是一个高吞吐量的分布式消息系统，设计用于处理实时数据流。本指南详细介绍了Kafka的安装与配置过程，包括系统要求、解压、配置、启动ZooKeeper和Kafka服务、创建Topic、以及生产者与消费者的基本操作。此外，还涵盖了集群部署、安全配置以及客户端库的使用。通过本教程，读者可以建立起一个基础的Kafka环境，并了解如何进行扩展与优化。

本文还有配套的精品资源，点击获取