搭建kafka集群

1.前期准备

    3台服务器

    zookeeper集群点击打开链接

2.下载安装kafka集群

    下载kafka点击打开链接

    2.1本次选用kafka_2.12-1.1.0 : 

# wget    http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

    2.2解压到/usr/local 目录:

# tar -zxvf  kafka_2.12-1.1.0.tgz -C  /usr/local

    2.3进入kafka

#cd /usr/local/kafka_2.12-1.1.0/

    2.4修改server.properties配置文件

# vim config/server.properties

    主要配置：

        
        broker.id=0          // 每个集群的数字不一样

        port=9092

        advertised.listeners=PLAINTEXT://39.108.5.*:9092       //ip为本机外网ip

        zookeeper.connect=119.23.20.*:2181,120.77.200.*:2181,39.108.5.*:2181        //ip为zookeeper集群ip

    2.5保存配置

# :wq

    2.6启动kafka集群

# ./bin/kafka-server-start.sh ./config/server.properties

    可能会报内存不足，如下图

    

    

    修改Kafka的堆内存分配  

# export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

    或者修改启动文件

# vim ./bin/kafka-server-start.sh

    2.7后台启动

# nohup ./bin/kafka-server-start.sh  ./config/server.properties  >output 2>&1 &

    附上kafka得常用命令点击打开链接