表名：data
构成：data.printSchema() 可以看到有map类型的大字段以及其他string or long or timestamps字段
#解决方法：
1.针对map类型大字段，利用hive中的concat_ws函数即可完成里面所有字段的拼接
2.处大字段外，剩余的字段在data样例中不多，直接用concat函数进行拼接
若剩余字段字段比较多，不想手工敲，那么就写个函数，去掉map类型的大字段
最终：map与非map的字段进行拼接，即可
pyspark 拼接hive table所有的列
猜你喜欢
转载自blog.csdn.net/huangqihao723/article/details/80521157
今日推荐
周排行