StreamSets 从Mysql到Hbase(带kerberos认证)的实时数据采集

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Vinsuan1993/article/details/85229082

引言

最近在研究StreamSets,就做了个简单Demo熟悉它的使用,由于我们的hbase是cdh版的,且带有kerberos认证,与streamsSet怎么配带kerberos认证的Hbase中文资料甚少,所以本人就去官网翻看了一下。

环境介绍

安装streamSets这里我不作过多介绍,这方面的网上资料有不少。我采用的是核心包安装(Core Tarball),版本为streamsets-datacollector-core-3.6.1.tgz。因为是核心包安装,所以需要添加hbase的库,hbase的库是在cdh。
在这里插入图片描述
安装步骤:主界面点击那个盒子,然后点击cdh安装就好,完全是图形化的。

mysql配置

正常的新建Pipelines我就不多说,大家可以参看https://cloud.tencent.com/developer/article/1078852
在这里插入图片描述
可以配置一部分就先预览一下:
在这里插入图片描述

带kerberos认证hbase配置

这个就比较麻烦了!网上基本没有什么中文资料有说明。
在这里插入图片描述
kerberos认证的配置,可参看官网:https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/DCConfig.html#concept_hnm_n4l_xs
具体步骤:
1、将Kerberos配置文件krb5.conf复制到Data Collector计算机。默认位置是/etc/krb5.conf。
注:安装streamset的机器需要注意一下hosts文件,ip到主机名的映射。
2、修改Data Collector配置文件sdc.properties将Data Collector配置为使用Kerberos。
在这里插入图片描述
在这里插入图片描述
3、重新启动Data Collector.
4、在streamset的hbase配置中勾选kerberos认证选项,如上图。

总结

这个效果图:
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/Vinsuan1993/article/details/85229082