1. Übersicht
Kafka ist eine verteilte Nachrichtenwarteschlange (Message Queue), die auf dem Publish / Subscribe-Modell basiert und hauptsächlich für die Echtzeitverarbeitung von Big Data verwendet wird.
Die traditionellen Anwendungsbereiche von Nachrichtenwarteschlangen sind asynchrone Verarbeitung, Reduzierung von Verkehrsspitzen und Entkopplung
Zwei Modi der Nachrichtenwarteschlange:
Punkt-zu-Punkt-Modus (Eins-zu-eins, Verbraucher ziehen aktiv Daten und die Nachricht wird gelöscht, nachdem die Nachricht empfangen wurde)
Veröffentlichungs- / Abonnementmodell (Eins-zu-Viele-Nachrichten werden nicht gelöscht, nachdem Verbraucher Daten verbraucht haben)
2. Installation
Ändern Sie die Konfigurationsdatei server.propertities nach der Dekomprimierung
#broker的全局唯一编号，不能重复，每个节点的id不一样
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径，需要自己创建
log.dirs=/opt/module/kafka/logs
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
Umgebungsvariablen konfigurieren
$ sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
$ source /etc/profile
3. Kafak-Befehl
Starten und Herunterfahren
#启动
bin/kafka-server-start.sh -daemon config/server.properties
#关闭
bin/kafka-server-stop.sh stop
Hinzufügen, löschen, ändern
创建
bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions
1 --topic first
选项说明：
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数
删除
bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除。
查看
查看所有
bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
查看某一个topic
bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first
修改分区数
bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6
消费消息
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first
--from-beginning：会把主题中以往所有的数据都读取出来。