spark连接JDBC 报 Task not serializable问题

有个简单需求用spark解析一个配置文件存入数据库,在操作中,为了高效使用了spark的foreachPartition算子,结果呢,一直告诉我:

看最下边日志原因告诉我是jdbc无法序列化导致的,于是打算重写jdbc类实现序列话,结果,,,无法实现序列号接口,百般无奈下,看到下边日志提示,明显是util.hashMap无法序列化导致的,那么也就是说因为连接jdbc时传入的propertis无法序列化导致的,于是改为一下代码:

问题得到解决。开始写法的问题是想把一个已经创建好的连接对象进行序列化,仔细想来真是二了一波,做记录以此提醒。

猜你喜欢

转载自blog.csdn.net/sujins5288/article/details/105742429