kafka 从入门到精通1 、 安装kafka 单机版，分布式版安装

• 1.kafka 单机版安装

Kafka安装手册

环境配置

Java: JDK 1.8(推荐)或者JDK 1.7(jdk-7u51或者更新版本)

 

单机版

1. 下载Kafka安装文件  kafka_2.10-0.10.0.1.tgz

Kafka版本：kafka_2.10-0.10.0.1

地址：百度网盘或者Kafka官网（https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz）

 

1. 解压kafka_2.10-0.10.0.1.tgz

tar –zxvf kafka_2.10-0.10.0.1.tgz

 

1. 启动zookeeper

bin/zookeeper-server-start.sh  config/zookeeper.properties &

使用命令查看zookeeper是否启动成功： jps | grep Quorum

可以查看到类似以下输出（进程id和zookeeper的服务名称QuorumPeerMain）：

46309 QuorumPeerMain

 

 

1. 启动Kafka Broker

bin/kafka-server-start.sh -daemon config/server.properties

 

使用命令查看kafka Broker是否启动更成功：jps | grep Kafka

可以查看到类似以下输出（进程id和Kafka的服务名称Kafka, “K”字母大写）：

34884 Kafka

 

如果启动失败，可以查看kafka安装目录下的logs/kafkaServer.out文件，寻找失败原因。

1. 验证
   1. 创建topic，名字为test，包含5个分区，副本数为1，数据保留时长为2天（默认是1天）

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic test --config delete.retention.ms=172800000

更多参数，请参考：http://kafka.apache.org/0100/documentation.html#producerconfigs 

1. 1. 生产数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

然后，键盘输入下面的信息并输入回车:

hello world aura bigdata

1. 1. 另外启动一个终端消费数据

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

2.分布式安装

分布式版

两台虚拟机(master, slave)

1. 下载Kafka安装文件  kafka_2.10-0.10.0.1.tgz到master和slave两个节点

Kafka版本：kafka_2.10-0.10.0.1

地址：百度网盘或者Kafka官网（https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz）

1. 解压kafka_2.10-0.10.0.1.tgz

tar –zxvf kafka_2.10-0.10.0.1.tgz

 

1. 配置(config/server.properties)
   1. master节点上

broker.id=0 zookeeper.connect=master:2181

1. 1. slave节点上

broker.id=1 zookeeper.connect=master:2181

 

1. 启动Kafka，在master和slave上分别执行

bin/kafka-server-start.sh -daemon config/server.properties

 

1. 验证
   1. 创建topic，名字为test，包含5个分区，副本数为1，数据保留时长为2天（默认是1天）

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 5 --topic test --config delete.retention.ms=172800000

1. 1. 生产数据

bin/kafka-console-producer.sh --broker-list master:9092 --topic test

然后，键盘输入下面的信息并输入回车:

hello world

1. 1. 另外启动一个终端消费数据

bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic test --from-beginning

使用kafka 创建生产者和消费者