安装
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz
- 解压kafka到指定目录(这里指定到/usr/kafka,自行修改)
tar -zxvf kafka_2.13-2.4.0.tgz -C /usr/kafka
- 修改server.properties
broker的含义:Kafka集群包含一个或多个服务器,每个服务器节点都被称为broker,每个broker都有唯一的id值用来区分,Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个以当前broker的id为名称的节点,当broker下线时,该节点会自动删除,其他broker或客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker是否存在。
broker.id=1
找到log.dirs并修改为指定路径(自行修改)
log.dirs=/usr/kafka/kafka_log
使用
- 启动zookeeper(Kafka使用了Zookeeper来进行所有Broker的管理,节点路径为/brokers/ids)
进入到kafka_2.13-2.0目录之下,输入以下命令启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
jps
bin/kafka-server-start.sh config/server.properties
- 创建主题topic(topic为类别属性,来划分数据的所属类,可以理解为数据库的一张表,topic的名字就是表的名字)
bin/kafka-topics.sh --create --zookeeper localhost:2181 -replication-factor 1 --partitions 1 --topic qixingcxy_test1
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic qixingcxy_test1
bin/kafka-topics.sh --list --zookeeper localhost:2181
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic qixingcxy_test1
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic qixingcxy_test1 --from-beginning
- 测试
producer生产数据
consumer消费数据