Spark学习之使用Spark SQL读取数据库

本文主要介绍利用Spark中通过Spark中通过JDBC连接数据库以及连接Hive读写数据的方法。

1.通过JDBC连接mysql数据库

在Mysql Shell环境中,输入下面SQL语句完成数据库和表的创建;

 要想顺利连接MySQL数据库,还需要使用MySQL数据库驱动程序。请到MySQL官网下载MySQL官网下载MySQL的JDBC驱动程序,。把该jar包放在Spark的安装目录“/usr/local/spark/jars"下。

启动一个spark-shell。启动Spark Shell时,必须指定Mysql连接驱动jar包,命令如下:

2.读取Mysql数据库中的数据

spark.read.format("jdbc")操作可以实现对MySQL数据库的读取,如下所示

 

 

在通过JDBC连接MySQL数据库时,需要通过option()方法设置相关的连接参数,如下表所示:
 

参数名称 参数的值 含义
url jdbc://mysql://localhost:3306/spark 数据库的连接地址
driver com.mysql.jdbc.Driver 数据库的JDBC驱动程序
dbtable student 所要访问的表
user root 用户名
password 123456 用户密码

向mysql中数据库中写入数据

如下所示:

 

 

插入前后表的对比。

猜你喜欢

转载自blog.csdn.net/qq_41338249/article/details/84868947