报错
Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:E:/testspark/spark-warehouse
at java.net.URI.checkPath(URI.java:1822)
at java.net.URI.<init>(URI.java:745)
at org.apache.hadoop.fs.Path.initialize(Path.java:203)
... 17 more
在Spark2.X版本中,事实上我的本地并没有这个文件夹,所以就需要添加一个配置spark.sql.warehouse.dir,如果不添加上该配置,默认是找的是user.dir下面的目录。
在Spark3.X版本不存在此种情况
解决:
原代码:
val spark: SparkSession = SparkSession.builder().appName("spark_sql").master("local[6]").getOrCreate()现代码:
val spark: SparkSession = SparkSession.builder().appName("spark_sql").master("local[6]").config("spark.sql.warehouse.dir", "E:/spark/GPSline/spark-warehouse").getOrCreate()
效果:
程序正常运行!!!