v2e论文中对事件的不理想成因的分析

今日读了论文"v2e: From Video Frames to Realistic DVS Events",讲的是从video生成event,文中详细分析了event生成过程中一些不理想的情况,指出现有的仿真方法(ESIM和VID2E)都仅考虑了噪声和对比度,缺少其他考虑。作者有Tobi Delbruck,可见越是大佬的组,研究的内容就越是基础。

事件成因

在这里插入图片描述事件成因简单总结,当光照时,photodiode产生电流Ip,对应的电容Cpd相当于放电,在C左侧产生电压Vp,经过放大器后Vd,与参考电压比较,生成高低极性的事件。

极暗的环境

PD存在电流Idark,这个很小,当环境光照良好时可以忽略,认为光照强度直接决定了事件。但当极暗时,Idark不可忽略,造成误差。同时,由于容性器件的存在,当亮度变化时有一个响应带宽,如果光线过暗,电流过小,时间常数t反比于I,造成时间常数更大,响应变慢。这两点共同造成的影响是:暗环境下,事件产生速度变慢,且时间抖动更明显。如下图所示。

在这里插入图片描述

运动模糊

在这里插入图片描述由于上述分析,作者指出,当环境极暗时,容易出现“运动模糊”。上图左列是明亮环境,右列是极暗环境,上方是产生的24ms内产生的事件,下方是align后的事件,可以看出,极暗环境下“边界”更宽,存在模糊。

延迟

在这里插入图片描述作者测试了真实的DVS的延迟,即“关灯后收到关灯事件的时间间隔”。可以看出,当环境亮度越高,整体延迟越低。DVS支持两个模式,在biased for speed模式下采用了更大的bias电流,使得响应更敏感。

小结

虽然没有研究论文的生成网络,但前面的分析非常详细,也是我第一次看到真实的测量数据。

猜你喜欢

转载自blog.csdn.net/tfb760/article/details/118976124