ESIM:一种开源的event 相机模拟器

对事件摄像机的研究还处于初级阶段,我们认为,这一领域的进展因若干问题而放缓。
首先,事件摄像机是稀有且昂贵的传感器:到目前为止,只有一家公司出售事件摄像机,而最近的davis346传感器[5]的价格为6000美元,只有一小部分研究小组能够负担得起。
其次,商用事件摄像机硬件仍处于原型水平,存在许多实际局限性,如davis346分辨率低(346×260),信噪比低,传感器配置复杂,需要专家知识。
这些问题使得我们很难理解活动摄像机在机器人领域的真正潜力.

本文贡献:

•一种新的事件摄像机模拟器架构,它紧耦合事件模拟器和渲染引擎,允许通过新的自适应采样方案(第3节)精确模拟事件,
•对我们提出的自适应采样方案的准确度和效率与固定速率采样的准确度和效率,进行定量评估(第4节);
•通过训练用于光流预测的神经网络对模拟事件进行验证,该网络可很好地推广到实际环境中(第5节)。
•我们提出的事件摄像机模拟器的高效、开源实现

先直接进行第三部分的阅读.

3.Event模拟器策略

  与从场景中同步捕获强度信息,以帧的形式采集的标准相机不同,事件相机异步采样视觉信号,即独立于每个像素。具体地说,如果自上次触发事件以来的亮度变化已达到给定阈值C,则事件传感器的每个像素将产生事件。该原理在图3中示出。

  在这一点上,有必要澄清我们所说的“亮度”到底是什么意思。视觉传感器测量传感器单位面积内光的辐射通量(或强度)的某些函数,称为辐照度E。事件摄像机在对数域中工作,这使它们能够实现高动态范围:它们不测量辐照度e的变化,而是测量对数辐照度logE的变化。在本文的其余部分中,我们将使用术语“亮度”来表示对数辐照度,并将其表示为:L=logE。

3.1自适应采样的事件模拟

  要模拟事件摄像机,需要在每个像素处访问视觉信号的连续表示,这在实践中是不可行的。

  为了规避这个问题,论文[10 ]提出了以非常高的帧率同步地采样视觉信号(即采样帧),并在样本之间执行线性插值,以重建连续的底层视觉信号的分段线性近似,用于模拟事件摄像机的工作原理(图3(a))。我们对模拟事件采取相同的方法,对视觉信号进行采样(通过沿相机轨迹渲染图像),但有一个关键区别:不是选择任意渲染帧率,而是在所选帧率下沿时间均匀地采样帧,我们提出自适应采样帧,根据视觉信号的预测动态调整采样率。

  视觉信号的自适应采样需要渲染引擎和事件模拟器之间的紧耦合。在下一节中,我们将描述我们的模拟器架构(第3.2节),并详细说明我们用于确保准确生成事件的自适应采样方案(第3.3节)

 3.2模拟器架构

猜你喜欢

转载自www.cnblogs.com/wongyi/p/11736560.html
今日推荐