zookeeper和Kafka集群安装配置

3个虚拟机,首先关闭防火墙,在进行下面操作

一、java环境
yum list java*
yum -y install java-1.8.0-openjdk*
查看Java版本 Java -version
 
二、zookeeper下载
 
官网下载
 
下载到主目录下
mkdir Test 在下面新建文件夹 zookeep
 
解压到zookeeper
tar -zxf jdk-8u60-linux-x64.gz
 
在test/zookeeper文件夹中新建madir data文件 test/zookeeper/data  存放zookeep数据
 
创建配置文件  /test/zookeeper/zookeeper-3.5.2-alpha/conf
$ vi conf/zoo.cfg
tickTime=2000
dataDir=/path/to/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
 
启动zookeeper服务 bin目录下
./zkServer.sh start
 
zookeep 集群配置
 
配置三台上面的单机zookeeper,这里没有myid会出现问题,解决
在 dataDir=/path/to/zookeeper/data 中新建 vim myid 文件
 
#比如我配置的三个server,myid里面写的X就是server.X=ip:2888:3888 中ip所对应的X
server.0=192.168.121.199:2888:3888【192.168.121.199服务器上面的myid填写0】
server.1=192.168.121.197:2888:3888【192.168.121.197服务器上面的myid填写1】
server.2=192.168.121.195:2888:3888【192.168.121.195服务器上面的myid填写2】
分别启动每一个zookeeper
启动完成,使用 ./zkServer.sh status 查看 当前集群状态
此时zookeep集群会产生一个leader

 和多个follower

 
 
三、kafka安装使用
cd 到kafka目录
解压到当前目录 test/kafka
tar -zxf kafka_2.11.0.9.0.0 tar.gz
cd kafka_2.11.0.9.0.0
 
修改 config下的 server.properties 配置文件 修改一下log日志文件
vi test/kafka/kafka_2.12-1.0.2/config/server.properties
shift+: 输入:/zookeeper 编辑配置文件  /log 编辑log位置
 
启动zookeeper服务,在执行下面 -daemon 为后台运行
bin/kafka-server-start.sh -daemon  config/server.properties
 
启动成功,输入jps查看后台进程
821 QuorumPeerMain
928 Kafka
931 Jps
 
关闭kafka
bin/kafka-server-stop.sh
kafka集群
修改 config/server.properties 配置文件中的
shifit+:/Server Basics中的 broker.id=0
生产者生产消息需要固定ip,在 
根据本机ip固定一下ip,不然其他机器上的broker 接受不到kafka集群中的数据
shitft+:/zookeep 中的 zookeeper.connect=192.168.121.199:2181,192.168.121.197:2181
 
问题:启动不成功,把数据目录data删除
 
创建topic 注意端口号
bin/kafka-topics.sh --create --zookeeper 192.168.121.197:2181 --replication-factor 2 --partitions 1 --topic test
#解释
--replication-factor 2 #复制两份
--partitions 1 #创建1个分区
--topic #主题为shuaige
 
查看所有的topic
bin/kafka-topics.sh --list --zookeeper 192.168.121.199:2181
 
 
查看topic状态
./kafka-topics.sh --describe --zookeeper 192.168.121.199,192.168.121.197,192.168.121.195  --topic testThreed2
 
生产者发送数据
bin/kafka-console-producer.sh --broker-list 192.168.121.199:9092 --topic shuaige
 
消费者消费
从zookeer中消费数据。此方法过期了
bin/kafka-console-consumer.sh --zookeeper 192.168.121.197:2181 --topic test --from-beginning
//--bootstrap-server 中消费数据。即:Kafka 的从broker中消费数据,ip为kafka的ip
bin/kafka-console-consumer.sh --bootstrap-server  192.168.121.199:9092 --topic test2222 --from-beginning
 
 
 
 
 

猜你喜欢

转载自www.cnblogs.com/Llh-Forerer2015/p/9622952.html