sparksql启动报错The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH

  要启动sparksql并访问到Hive,有两个步骤:

1、将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下
2、配置MySQL驱动包,将MySQL驱动包放在一个自定义目录下,在$SPARK_HOME/conf里面的spark-defaults.conf配置两个参数
spark.executor.extraClassPath /home/hadoop/jars/mysql-connector-java-5.1.34.jar
spark.driver.extraClassPath /home/hadoop/jars/mysql-connector-java-5.1.34.jar

或者可以将mysql驱动包放到$SPARK_HOME/lib下,但是如果集群升级需要再次操作这个步骤,所以推荐第一个做法。

猜你喜欢

转载自blog.csdn.net/qq_34382453/article/details/85281633