linux环境下安装kafka
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计
基本的消息系统术语:
•Kafka将消息以topic为单位进行归纳。
•将向Kafka topic发布消息的程序成为producers.
•将预订topics并消费消息的程序成为consumer.
•Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
producers通过网络将消息发送到Kafka集群,集群向消费者提供消息。客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。
Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装
准备工作:
Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群
1、下载软
zookeeper压缩包、kafka压缩包
#下载ZooKeeper:http://pan.baidu.com/s/1pJlwbR9
wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.10-0.10.1.0.tgz
#这里没有用到zookeeper软件包
2、解压
#tar -zxvf zookeeper-3.4.5.tar.gz
tar -zxvf kafka_2.10-0.10.1.0.tgz
#3、修改配置文件
#zookeeper配置相关文件
#https://www.cnblogs.com/mmzs/p/8072264.html
4、相关配置修改
(1)修改zookeeper相关配置
cd /kafka/config
vi zookeeper.properties
dataDir=/data1/xjy/kafka/zookeeper_data (zookeeper_data存放信息文件)
(2)修改kafka相关配置
cd /kafka/config
vi server.properties
listeners=PLAINTEXT://192.168.92.111:9092
advertised.listeners=PLAINTEXT://192.168.92.111:9092
log.dirs=/data1/xjy/kafka/logs
5、
启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &
启动kafka
bin/kafka-server-start.sh config/server.properties &
关闭kafka
bin/kafka-server-stop.sh config/server.properties &
kafka创建topic
bin/kafka-topics.sh --create --zookeeper 192.168.92.111:2181 --replication-factor 1 --partitions 1 --topic test
查看topic
bin/kafka-topics.sh --list --zookeeper 192.168.92.111:2181
ksfka删除topic
bin/kafka-topics.sh --delete --zookeeper 192.168.92.111:2181 --topic test
运行 producer:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic appreportdata_800021
运行 consumer:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic appreportdata_800021 --from-beginning