EV-SegNet: Semantic Segmentation for Event-based Cameras

本文主要提出了一个适用于DVS数据的语义分割网络。

背景

DVS属于一种比较有前途的传感器，可以捕捉环境的强度变化，DVS将数据强度以事件流的形式输出，事件表示为在特定时刻特定像素处的强度变化。
DVS的优点如下：

• 高时间分辨率，可以在微秒捕获多个事件；
• 高动态范围，可以在弱光或黑暗环境下捕获信息
• 低功耗和带宽要求

在图像识别领域，DVS的使用难点如下：

• 对于CNN模型来说，缺乏合适的DVS事件流表示
• 缺少标记的训练数据集

本文的创新点如下：

• 提出了一个Xception-based CNN模型，可以直接将DVS数据作为输入，并针对DDD17数据集提出了语义分割标签的制作方法
• 对DVS表示方法进行了比较(即将DVS数据编码为网络可用的数据)

1.事件表征

传统RGB图像为三维的(高、宽和通道数)，事件相机输出事件流，事件表征为强度信号对数的政府变化(超过阈值)：

每个事件由四个不同的部件定义：变化像素的两个坐标（xi,yi）,极性（pi，正极性，p=1; 负极性，p=-1）和时间戳（ti）。
事件是异步的，并且具有特定编码，不能为当今视觉识别任务中广泛使用的CNN等提供良好的输入。

基于事件位置的密集编码

• 方法1