Linux以及windows下kafka的安装

Kafka的安装

Windows

一、安装JDK

1.JDK下载路径

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2.按照网上参考步骤,依次配置JAVA_HOME、Classpath和Path,然后打开cmd,运行java -version成功,则JDK配置成功;

二、安装Zookeeper

由于Kafka的运行依赖于Zookeeper,所以在运行Kafka之前需要安装并运行Zookeeper

1.Zookeeper下载路径

http://zookeeper.apache.org/releases.html#download

2.解压到文件下(我的目录是 D:\WorkSoftware\zookeeper-3.4.12)

3.打开D:\WorkSoftware\zookeeper-3.4.12\conf,复制zoo_sample.cfg重命名成zoo.cfg

4.编辑zoo.cfg,修改dataDir为【dataDir=D:/WorkSoftware/zookeeper-3.4.12/data】

5.添加环境变量

ZOOKEEPER_HOME D:\WorkSoftware\zookeeper-3.4.12

扫描二维码关注公众号,回复: 6059238 查看本文章

Path 在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin;

6.打开cmd,运行Zookeeper---zkserver

C:\Users\Administrator>d:

D:\>cd D:\WorkSoftware\zookeeper-3.4.12\bin

D:\WorkSoftware\zookeeper-3.4.12\bin>zkserver

三、安装Kafka

1.Kafka下载路径 http://kafka.apache.org/downloads

2.解压文件(我的目录是D:\WorkSoftware\kafka_2.11-1.1.1【这里不要在Program Files等文件名之间有空格的目录下,不然一会执行会不识别路径】)

3.打开目录D:\WorkSoftware\kafka_2.11-1.1.1\config下server.properties文件,把log.dirs修改为【log.dirs=D D:\WorkSoftware\kafka_2.11-1.1.1\logs】

4.进入kafka文件目录D:\WorkSoftware\kafka_2.11-1.1.1,执行以下命令,启动kafka通讯的服务器broker

.\bin\windows\kafka-server-start.bat .\config\server.properties

5.进入kafka文件目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows,创建kafka的消息topics

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

6.分别打开两个cmd窗口,进入目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows,创建Producer和Consumer

(1)Producer

进入目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows输入如下命令

kafka-console-producer.bat --broker-list localhost:9092 --topic test

(2)Consumer

进入目录D:\WorkSoftware\kafka_2.11-1.1.1\bin\windows输入如下命令

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

然后就可以在Producer中发信息,在Consumer中收信息了

Linux

环境:RHEL7 jdk1.8 zookeeper3.4.10 kafka2.11

操作前打开2181和9092端口

一.安装zookeeper

1.zookeeper下载路径:

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

tar -zxvf zookeeper-3.4.10.tar.gz

cd zookeeper-3.4.10/conf

将zoo_sample.cfg复制一份改为zoo.cfg

cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg

vim zoo.cfg

编辑之后的内容

tickTime=2000

initLimit=10

syncLimit=5

#目录自行创建

dataDir=/tmp/zookeeper

dataLogDir=/var/log/kafka/zk

clientPort=2181

server.1=[你的host]:2888:3888

具体配置自行查阅相关资料

进入bin目录,启动,重启,停止,查看状态命令如下

./zkServer.sh start

./zkServer.sh stop

./zkServer.sh restart

./zkServer.sh status

若启动失败,查看配置文件中的日志文件夹是否创建

二.安装kafka

Kafka下载路径:

wget http://mirrors.hust.edu.cn/apache/kafka/1.1.1/kafka_2.11-1.1.1.tgz

tar -zxvf kafka_2.11-1.1.1.tgz

进入目录,修改配置文件

cd /usr/local/kafka_2.11-1.1.1.tgz

mv * /usr/local/kafka

cd /usr/local/kafka/config

vim server.properties

打开注释

#listeners=PLAINTEXT://:9092

添加:

hostname=192.168.56.14(本机的IP地址)

修改:

log.dirs=/usr/local/kafka/log/kafka(如果服务器上没有此目录请创建)

更改zookeeper的配置,将localhost改为你的zookeeper地址,若zookeeper在本地可以不用修改

保存

启动kafka

进入kafka目录执行如下命令

./bin/kafka-server-start.sh config/server.properties &

保持后台运行

测试

创建一个名叫test的topic

bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test

查看所有的topic

bin/kafka-topics.sh --list --zookeeper 127.0.0.1:21811

删除Topic

bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test

如果没有在配置里设置彻底删除Topic,此处则只是将该Topic标志为删除12

发送数据

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

输入内容

> hello kafka

> test

接收数据

bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning

> hello kafka

> test

可以收到 hello kafka 的消息

猜你喜欢

转载自blog.csdn.net/Auspicious_air/article/details/89675416