34个ETL系统总结 P5 错误事件处理

5. 错误事件处理

错误在ETL系统设计之处就应该纳入考虑的范畴，错误可以分成两类：Error和Exception。
Error等级的错误，ETL系统会停止运行或跳过某个核心模块，这类错误一般需要设置报警机制，比如邮件或者webhook报警。
Exception等级的错误可以记录日志，考虑后续进行修改或维护。例如异常数据值的出现与过滤。

一般的ETL工具都会集成完善的错误日志功能

错误事件报警表样例：

错误事件
错误事件id
表名
时间戳
批次号
ETL模块
严重程度
错误日志