版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013305783/article/details/86513285
一、ZooKeeper集群搭建
（一）、集群部署的基本流程
下载安装包、解压安装包、修改配置文件、分发安装包、启动集群
（二）、ZooKeeper集群搭建
1、下载安装包
去官网下载zookeeper压缩包
2、解压安装包
tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper
3、修改配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
dataDir=/home/hadoop/zookeeper/data
dataLogDir=/home/hadoop/zookeeper/log
server.1=slave1:2888:3888 (主机名, 心跳端口、数据端口)
server.2=slave2:2888:3888
server.3=slave3:2888:3888
创建文件夹：
cd /home/hadoop/zookeeper/
mkdir -m 755 data
mkdir -m 755 log
1
4、修改系统环境变量
vi /etc/profile(修改文件)
添加内容：
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
执行source /etc/profile
5、分发安装包
scp -r /home/hadoop/zookeeper hadoop@mini2:/home/hadoop/
scp -r /home/hadoop/zookeeper hadoop@mini3:/home/hadoop/
6、修改其他机器的配置文件
到mini2上：修改myid为：2，到mini3上：修改myid为：3
7、启动（每台机器）
zkServer.sh start
8、查看集群状态
1、 jps（查看进程）
2、 zkServer.sh status（查看集群状态，主从信息）
二、kafka集群安装
（一）、Kafka集群部署
1、下载安装包
去apache官网下载kafka
2、解压安装包
tar -zxvf kafka_2.11-2.0.1.tgz 并重命名为kafka
3、修改配置文件
cp /home/hadoop/kafka/config/server.properties
/home/hadoop/kafka/config/server.properties.bak
vi /home/hadoop/kafka/config/server.properties
添加如下内容：
#broker的全局唯一编号，不能重复
broker.id=0
#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/tmp/kafka-logs
#topic在当前broker上的分片个数
num.partitions=2
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#滚动生成新的segment文件的最大时间
log.roll.hours=168
#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824
#周期性检查文件大小的时间
log.retention.check.interval.ms=300000
#日志清理是否打开
log.cleaner.enable=true
#broker需要使用zookeeper保存meta数据
zookeeper.connect=mini1:2181,mini2:2181,mini3:2181
#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000
#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000
#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000
#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true
#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
host.name=mini1
4、分发安装包
scp -r kafka mini2:/home/hadoop将kafka复制到mini2和mini3上，并将broker.id改为不重复数字，host.name也改为相应的host5、启动集群
依次在各节点上启动kafka bin/kafka-server-start.sh config/server.properties6、Kafka常用操作命令
查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper mini1:2181
创建topic
bin/kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 1 --topic test
删除topic
bin/kafka-topics.sh --delete --zookeeper mini1:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
通过shell命令发送消息
kafka-console-producer.sh --broker-list mini1:9092 --topic itheima
通过shell消费消息
bin/kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic test1
查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper mini1:2181 --group testGroup
查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper mini1:2181
三、Spark streaming + spark
（一）、环境准备
下载spark-streaming-kafka-0-8_2.11-2.4.0.jar，因为目前spark-streaming-kafka-1.0还不支持python。
（二）、示例代码
from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
offsets = []
def out_put(m):
print(m)
def store_offset(rdd):
global offsets
offsets = rdd.offsetRanges()
return rdd
def print_offset(rdd):
for o in offsets:
print
"%s %s %s %s %s" % (o.topic, o.partition, o.fromOffset, o.untilOffset, o.untilOffset - o.fromOffset)
if __name__ == "__main__":
spark = SparkSession\
.builder\
.appName("PythonWordCount") \
.master("spark://mini1:7077") \
.getOrCreate()
sc = spark.sparkContext
ssc = StreamingContext(sc, 5)
sc.setCheckpointDir("/home/hadoop/log/kafka")
def updateFunc(new_values, last_sum):
return sum(new_values) + (last_sum or 0)
# kafkaStream = KafkaUtils.createStream(ssc, \
# [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])
msg_stream = KafkaUtils.createDirectStream(ssc, ['test'],
kafkaParams={"metadata.broker.list": "mini1:9092,"})
result = msg_stream.map(lambda x: x[1]).flatMap(lambda x: x.split(" ")).map(lambda x: (x, 1)).updateStateByKey(updateFunc,sc.defaultParallelism)
msg_stream.transform(store_offset,).foreachRDD(print_offset)
result.pprint()
ssc.start()
ssc.awaitTermination()
使用以下命令执行
spark-submit --master spark://mini1:7077 --class sparkstreaming.KafkaStreaming --jars /home/hadoop/jar/kafka/spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.4.0 /tmp/pycharm_project_563/day5/DirectKafkaCount.py
另起一个回话：执行生产者指令：
kafka-console-producer.sh --broker-list mini1:9092 --topic test
此时python端就能看到获取到数据