解决:Required field ‘filesAdded‘ is unset! Struct:InsertEventRequestData(filesAdded:null)

解决:org.apache.thrift.TApplicationException: Required field ‘filesAdded’ is unset! Struct:InsertEventRequestData(filesAdded:null)

hive报错Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.TApplicationException: Required field ‘filesAdded’ is unset! Struct:InsertEventRequestData(filesAdded:null)
这个需要更改hive-site.xml里的hive.metadata.dml.events为false

hive.metadata.dml.events 是一个配置属性,用于在 Hive 中启用或禁用元数据更改事件的捕获和记录。

当将该属性设置为 true 时,Hive 将开始捕获对 Hive 元数据的更改操作,例如创建、修改或删除数据库、表、分区等。这些更改将被记录为元数据更改事件,并且可以通过其他工具或触发器进行进一步处理。

一旦启用了元数据更改事件,你可以使用诸如 Hive 元数据事件监听器(Hive MetaStore Listener)或 Hive 全局扩展(Hive Hook)等机制来处理这些事件。这些机制可以帮助你在发生元数据更改时触发其他操作,例如自动备份、审计记录、通知等。

请注意,启用元数据更改事件的捕获和处理可能会对系统性能产生一定影响,因此在启用之前需要谨慎评估和测试。

要配置 hive.metadata.dml.events 属性,可以在 Hive 的配置文件中(如 hive-site.xml)添加以下行:

<property>
  <name>hive.metadata.dml.events</name>
  <value>true</value>
</property>

完成配置后,需要重启 Hive 服务以使更改生效。

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/131791733