图论分割与全景分割

图论分割与全景分割

---

传统图分割算法相关工作

预计在2.10（春节假期结束为止）完成相关工作，尽可能提前完成工作

工作目标：（春节假期结束前完成 （20天左右））

• 明确问题的定义

• 明确图分割算法的评价标准（1天）

• 理解总结各个算法的核心思想 （15天）
• 总结算法中存在的问题以及思考改进措施 （与上一步同步进行）
• 挑选比较好的算法（多个）进行复现 （5天）

全景分割相关工作

工作目标：

• 阅读论文，了解目前的算法主体流程以及核心思想 （1周）
• 挑选合适的数据集，明确评价指标
• 复现一部分算法以及核心的框架or自己搭建合理的框架
• 对网络结构进行优化，使用深度学习方法以及加入合适的传统方法，创新

---

传统图分割算法

1. 概述
   • 把图像分割问题与图的最小割（mincut）问题相关联。
   • 将图像映射为带权无向图G=<V，E>
   • 图中每个节点N∈V对应于图像中的每个像素，每条边∈E连接着一对相邻的像素
   • 边的权值表示了相邻像素之间在灰度、颜色或纹理方面的非负相似度。
   • 图像的一个分割s就是对图的一个剪切，被分割的每个区域C∈S对应着图中的一个子图。
   • 分割的最优原则就是使划分后的
     • 子图在内部保持相似度最大
     • 子图之间的相似度保持最小
   • 基于图论的分割方法的本质就是移除特定的边，将图划分为若干子图从而实现分割。
2. 现有算法
   • GraphCut
   • GrabCut
   • RandomWalk
   • Entropy Rate Superpixel Segmentation
   • Superpixels
     • Graph-based segmentation
     • Ncut
     • Turbopixel
     • Quick-shift
     • GCa10 and GCb10
     • SLIC
   • 最小生成树等
3. 基本步骤
   • 转化问题
   • 建立分割准则
   • 通过特定算法求解

全景分割（Panoptic Segmentation）

几个概念：超像素、语义分割、实例分割、全景分割

1. 数据集

   • 现在仅有的三个同时包括语义分割和实例分割标注的数据集：

     • Cityscapes

       5000 张图片，2975 张 train，500 张 validation， 1525 张 test.

       自动驾驶场景;像素级标注，19 类语义分割，其中 8 类实例级分割.

     • ADE20k

       25k 张图片，20k 张 train， 2k val，3k test.

       像素级分割，100 类 thing，50 类 stuff.

     • Mapillary Vistas

       25k 张街景图片， 18k 张 train，2k 张 val，5k 张 test.

     • COCO 2018 Panoptic Segmentation

2. 评价标准： Panoptic Quality(PQ).

   • 分割质量（SQ）
     $SQ=\frac{\sum_{(p,g)\in{TP}}IoU(p,g)}{|TP|}$

     对象的平均IoU

   • 检测质量（DQ）
     $DQ=\frac{|TP|}{|TP|+\frac{1}{2}|FP|+\frac{1}{2}|FN|}$
     F1 score，precision和recall的调和平均

   • PQ
     $PQ=SQ*DQ$