【kafka】集群的搭建

【kafka】集群的搭建

一、下载安装kafka

下载地址：http://kafka.apache.org/downloads

选择与安装的scala版本匹配的kafka版本，我的scala版本是2.11。

二、将下载好的压缩包上传到需要安装kafka的机器上，并解压缩至指定的目录下。

# tar -zxvf kafka_2.11-0.10.2.1.tgz  -C apps/

三、修改配置文件

1. cd至kafka的安装目录下

2. 修改conf/server.properties配置文件：

    这里配置文件是第一台机器的其它机器上基本一致，只需要修改

    broker.id=0；   listeners=PLAINTEXT://hdp-01:9092 这两个参数即可。

broker.id=0 listeners=PLAINTEXT://hdp-01:9092 log.dirs=/root/kafkadata num.partitions=3 zookeeper.connect=hdp-01:2181,hdp-02:2181,hdp-03:2181

3. 分发安装包：在这里我安装了3台机器

# for i in 2 3 ;do scp -r kafka_2.11-0.10.2.1 hdp-0$i:$PWD ;done

分发完成之后，必须修改其他机器上的配置，如下所示：

第二台机器：

第三台机器：

至此kafka安装完成

 

启动kafka

1. 启动kafka集群的命令：

# ./kafka-server-start.sh  -daemon ../config/server.properties

2. 想要使用kafka，必须先把zookeeper启动。否则就会报错