admin
Kafka Cluster
这是kafka为我们提供的四大类API,kafka不存在单节点一说,存在的单节点也是单节点集群,都是一个一个的集群,kafka默认的就是集群。有两个客户端操作分别是Producers客户端和Consumers客户端,Connectors就是kafka和DB的一个交互,Stream Processors是流处理API。最常用的是Producers和Consumers,最复杂的是Consumers,所以Consumers是我们的重点。除了这四类还有Admin,这一共是五类API。
客户端API类型
AdminClient API:允许管理和检测Topic、broker以及其它Kafka对象。
Producer API:发布消息到1个或多个topic。
Consumer API :订阅一个或多个topic,并处理产生的消息。
Streams API:高效地将输入流转换到输出流。
Connector API:从一些源系统或应用程序中拉取数据到kafka。
代码操做加解释
1、创建Java Empty Env
2、点击左侧第一个图标上传程序文件
3、点击右键选择Upload Flies
4、点击右侧第二个图标新建new terminal
5、在命令行里输入命令,先解压程序压缩包
命令:tar -xf kafka-study-coding.tar
6、删除压缩包
命令:rm -rf kafka-study-coding.tar
7、以root用户登录
命令:sudo /bin/bash
8、将kafka集群的ip地址添加到hosts文件中
命令:vi /etc/hosts 192.168.30.140 app-13 192.168.138.63 app-12 192.168.235.178 app-11
9、进入到程序目录下
命令:cd kafka-study-coding/
往后的操作都是先编译后运行
编译:mvn compile -Dexec.mainClass="com.kinginsai.bigdata.kafka.admin.AdminSample"
运行:mvn exec:java -Dexec.mainClass="com.kinginsai.bigdata.kafka.admin.AdminSample" -Dexec.classpathScope=runtime -Dmaven.test.skip=true
10、设置AdminClient,连接kafka集群,地址是服务器的host
11、创建Topic,Topic的名字为songshu-topic,运行的结果打印出来
12、获取topic列表
13、删除topic,并查看topic是否删除
运行结果:
14、描述topic
运行结果:
15、查看配置信息
运行结果:
16、增加partition,之后运行描述topic,看是否增加了
运行结果:
常见问题
1、
在root用户下,删除target。
2、在创toptic的时候,出现以下警告,是因为后台在不停的打印,创建成功之后还在打印,在创建的就是重复的了,所以出以下警告
在创建的最后加上adminClient.close();关闭adminClient即可。
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰