linux环境下安装kafka

linux环境下安装kafka

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计

基本的消息系统术语:

•Kafka将消息以topic为单位进行归纳。

•将向Kafka topic发布消息的程序成为producers.

•将预订topics并消费消息的程序成为consumer.

•Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.

producers通过网络将消息发送到Kafka集群,集群向消费者提供消息。客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。

Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装

准备工作:

Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群

1、下载软

zookeeper压缩包、kafka压缩包

#下载ZooKeeper:http://pan.baidu.com/s/1pJlwbR9

wget  http://apache.opencas.org/kafka/0.9.0.1/kafka_2.10-0.10.1.0.tgz

#这里没有用到zookeeper软件包

2、解压

#tar -zxvf zookeeper-3.4.5.tar.gz

tar -zxvf kafka_2.10-0.10.1.0.tgz

#3、修改配置文件

#zookeeper配置相关文件

#https://www.cnblogs.com/mmzs/p/8072264.html

4、相关配置修改

(1)修改zookeeper相关配置

cd /kafka/config

vi zookeeper.properties

dataDir=/data1/xjy/kafka/zookeeper_data (zookeeper_data存放信息文件)

(2)修改kafka相关配置

cd /kafka/config

vi server.properties

listeners=PLAINTEXT://192.168.92.111:9092

advertised.listeners=PLAINTEXT://192.168.92.111:9092

log.dirs=/data1/xjy/kafka/logs

5、

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka

bin/kafka-server-start.sh config/server.properties &

关闭kafka

bin/kafka-server-stop.sh config/server.properties &

kafka创建topic

bin/kafka-topics.sh --create --zookeeper 192.168.92.111:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

bin/kafka-topics.sh --list --zookeeper 192.168.92.111:2181

ksfka删除topic

bin/kafka-topics.sh --delete --zookeeper 192.168.92.111:2181 --topic test

运行 producer:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic appreportdata_800021

运行 consumer:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic appreportdata_800021 --from-beginning

猜你喜欢

转载自blog.csdn.net/xuejinyan123/article/details/81287958
今日推荐