kafka集群操作的两种方式

5.操作集群的两种方式

需求：订单系统，需要发送消息。后面后3个程序需要接受这个消息，并做后续的处理。

5.1.使用控制台运行

1）创建一个订单的topic。

./kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic order --partitions 3 --replication-factor 2

2）编写代码启动一个生产者，生产数据

./kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic order

3）编写代码启动一个消费者，消费数据

./kafka-console-consumer.sh --zookeeper node01:2181 --from-beginning --topic order

最新版本的命令：
./kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic order --from-beginning

4) 查看topic的详细信息

./kafka-topics.sh --describe --topic order --zookeeper node01:2181,node02:2181,node03:2181

5.2.使用Java api运行

1）java工程-maven，依赖。

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.1</version>
</dependency>

2）编写代码-写生产者的代码

package com.pjz.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**
* @author pjz
* @Title: OrderProducer
* @ProjectName gossip-spider-parent
* @Description: kafka的生产者
* @date 2019/6/1411:53
*/
public class OrderProducer {

    public static void main(String[] args) {
        //1. 加载生产者的配置信息
        Properties props = new Properties();
        //kafka集群的地址
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        //消息的确认机制
        props.put("acks", "all");
        //消息的重试
        props.put("retries", 0);
        //消息的批量大小
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        //消息的批量缓存大小
        props.put("buffer.memory", 33554432);
        //消息的key的序列化方式
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        //消息的value的序列化方式
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        //2. 创建生产者
        Producer<String, String> producer = new KafkaProducer<String, String>(props);

        //3 生产数据
        for (int i = 0; i < 100; i++) {
            //一条消息
            /**
             * 第一个参数: topic的名称
             * 第二个参数: key
             * 第三个参数: value
             */
            ProducerRecord<String, String> record = new ProducerRecord<String, String>("order", Integer.toString(i), Integer.toString(i));
            producer.send(record);
        }

        //4关闭
        producer.close();

    }
}

3）编写代码-写消费者的代码

package com.pjz.consumer;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

/**
* @author pjz
* @Title: OrderConsumer
* @ProjectName gossip-spider-parent
* @Description: kafka的消费者
* @date 2019/6/1412:07
*/
public class OrderConsumer {

    public static void main(String[] args) {

        //1. 加载配置信息
        Properties props = new Properties();
        //kafka集群的地址
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        //消费组id(必须唯一)
        props.put("group.id", "ooxx");
        //消费完数据,提交消费数据的偏移量
        props.put("enable.auto.commit", "true");
        //提交偏移量的间隔周期
        props.put("auto.commit.interval.ms", "1000");
        //key和value的序列化方式
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        //2. 创建消费者
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(props);

        //3. 订阅topic的消息(可以同时订阅多个topic的消息)
        kafkaConsumer.subscribe(Arrays.asList("order","news"));

        //4. 消费数据
        while (true) {
            //拉取消息 pull
            ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
            //遍历消息
            for (ConsumerRecord<String, String> record : records) {
                //获取消费的偏移量   消息的key   消息的value
                int partition = record.partition();
                System.out.println("partition = " + partition + " , offset = " + record.offset() + ", key = " + record.key() + ", value = " + record.value());
            }
        }

    }
}

如果本机没有修改hosts ，用命令的方式可以发送和接收数据，用java代码发送接收不了

window系统的电脑的hosts文件中必须配置:ip和主机名的对应关系.

192.168.72.141 node01
192.168.72.142 node02
192.168.72.143 node03