ELFK日志平台入门2---Elasticseach集群搭建
ELFK日志平台入门5---Logstash+Filebeat集群搭建
这个章节我们介绍下Kafaka集群搭建。
1、环境准备
资源规划：
环境配置：
- Kafka以Zookeeper作为注册中心，所以需要先安装Zookeeper集群，Kafka安装包里也有自带，这里不做详细介绍；
2、Kafka集群安装
下面操作均在三台机器操作：
- 解压Kafka安装包：
# tar zxf kafka_2.11-2.2.0.tgz && mv kafka_2.11-2.2.0 /usr/local/kafka- 修改Kafka配置：
# vim /usr/local/kafka/config/server.properties
broker.id=1 #ID唯一，填数字，本文中分别为1/2/3
port=9092
host.name=192.168.0.0 #本机ip
log.dirs=/data/kafka/kafka-logs #数据存放目录，不是日志目录
num.partitions=16 #每个topic的默认分区数
log.retention.hours=168 #过期时间，默认为1周
zookeeper.connect=192.168.0.0:2181,192.168.0.1:2181,192.168.0.2:2181 #zookeeper ip及端口
# mkdir -p /data/kafka
- 启动Kafka：
# cd /user/local/kafka
# nohup /user/local/kafka/bin/kafka-server-start.sh /user/local/kafka/config/server.properties &>/dev/null &3、测试Kafka集群
下面操作均在三台机器操作：
- 创建一个topic：
# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.0.0:2181 --replication-factor 3 --partitions 1 --topic test #注意：factor大小不能超过broker的个数
Created topic test.
- 查看已创建的topic：
# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.0.0:2181
test
- 查看topic test的详情：
# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.0.0:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:3 Configs:
Topic: test Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
#主题名称：test
#Partition:只有一个，从0开始
#leader ：id为1的broker
#Replicas 副本存在于broker id为1,2,3的上面
#Isr:活跃状态的broker
- 生产者发送消息：
# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.0.0:9092 --topic test
>test
>test1
>test22
- 消费者接收消息：
# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.0:9092 --topic test --from-beginning # --from-beginning表示从开始接收，否则只接收新产生的消息
test
test1
test22
从上面可以看出Kafka生产者和消费者通讯是成功的，说明Kafka集群部署成功。
至此Kafka集群已搭建完成。
