Definição, instalação, adição, exclusão, modificação e comandos de consulta do Kafka

1. Visão Geral

Kafka é uma fila de mensagens distribuída (Message Queue) baseada no modelo publicar / assinar , que é usado principalmente no processamento em tempo real de big data.

As áreas de aplicação tradicionais de filas de mensagens são processamento assíncrono, redução de pico de tráfego e desacoplamento

Dois modos de fila de mensagens:

Modo ponto a ponto (um a um, os consumidores obtêm dados ativamente e a mensagem é apagada após o recebimento)

Modelo de publicação / assinatura (um para muitos, as mensagens não serão apagadas depois que os consumidores consumirem dados)

2. Instalação

Modifique o arquivo de configuração server.propertities após a descompressão

#broker的全局唯一编号，不能重复，每个节点的id不一样
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径，需要自己创建
log.dirs=/opt/module/kafka/logs
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

Configurar variáveis ​​de ambiente

$ sudo vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka

$ source /etc/profile

3. Comando Kafak

Inicialização e desligamento

#启动
bin/kafka-server-start.sh -daemon config/server.properties
#关闭
bin/kafka-server-stop.sh stop

Adicionar, excluir, modificar

创建
bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 
 1 --topic first
    选项说明：
    --topic 定义topic名
    --replication-factor  定义副本数
    --partitions  定义分区数

删除
bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除。

查看
    查看所有
    bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
    
    查看某一个topic
    bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first

修改分区数
bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6

消费消息
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first
    --from-beginning：会把主题中以往所有的数据都读取出来。