在Python中通过spark访问hbase(单机版)

1、单机环境安装

(1)Jdk的安装,这个是后续环境安装的基础

(2)Hadoop的安装,这个是使用hbase的前提

(3)安装hbase,这个得找教程自己采坑了

(4)安装spark

2、Python中第三方包的安装

(1)thrift,这个是使用hbase的前提

(2)happybase,Python可以通过这个库访问hbase

(3)pyspark,Python通过这个连接spark

3、环境的启动顺序

(1)启动hadoop服务,这个是hbase能正常提供服务的基础

        ./sbin/start-all.sh

(2)在hbase安装目录的bin目录下启动thrift服务

        ./hbase-daemon.sh start thrift

(3)在hbase安装目录的bin目录下启动hbase服务

        ./start-hbase.sh

(4)在spark安装目录的sbin目录下启动spark服务

        bash start-all.sh

        ./start-all.sh

4、使用教程

(1)http://dblab.xmu.edu.cn/blog/1715-2/

发布了29 篇原创文章 · 获赞 16 · 访问量 6万+

猜你喜欢

转载自blog.csdn.net/u011412768/article/details/89537204