Kafka
支持zk的动态扩容
即使普通服务器也支持每秒数百万的消息传递,支持分区消息提高性能
1个kafka服务器至少有1个或多个服务器,这种服务器被称为broker.
Topic每个发到kafka的消息都有一个类别,这个类别称为topic,topic逻辑上对record进行分组保存.消费者需要订阅topic才能消费topic中的消息.
Partition是物理上的概念,每个topic包含一个或多个partition,创建topic时可以指定partition的数量.每个partition对应的一个文件夹,该文件夹下存储该partition的数据和索引.为了实现数据的高可用,每个分区都有一个broker作为leader和一个broker作为follwer
1. 下载
https://kafka.apache.org/downloads
2. 安装
root@zookeeper-1:/apps# tar xf kafka_2.13-3.2.1.tgz
root@zookeeper-1:/apps# cd kafka_2.13-3.2.1/
root@zookeeper-1:/apps# mkdir -p /data/kafka
3. 修改配置文件
vi config/server.properties
## 24行/3台服务器这里确保不一样就可以,我们将zk-1设置成1,zk-2设置成2,zk-3设置成3
broker.id=1
## 35行/设置为自己ip地址
listeners=PLAINTEXT://192.168.31.121:9092
## 63行/kafka数据目录
log.dirs=/data/kafka
## 68行/设置成和节点数一样,提高写入io
num.partitions=3
## 106行/数据过期时间 168/24=7天
log.retention.hours=168
## 126行/zookeeper集群地址,用逗号分隔
zookeeper.connect=192.168.31.121:2181,192.168.31.122:2181,192.168.31.123:2181
4. 启动kafka
/apps/kafka_2.13-3.2.1/bin/kafka-server-start.sh /apps/kafka_2.13-3.2.1/config/server.properties &