《突发事件中大规模人群的行为规律》

《突发事件中大规模人群的行为规律》

• 第五章：基于视频跟踪的人群行为建模及异常检测
  • 5.1 研究背景和目标
    • 解决理解群体行为的问题的两种方法（P117）

    • 当然还有两者结合的方法

      • “基于个体”（自下而上的方法）
      • “基于整体”（自上而下的方法）
  • 5.2 人群场景中的目标检测方法

  • 关注的是人群场景中的行人目标检测

    • 按照目标对象的规模划分
      • 一般意义下的行人多目标检测
        • 情况一：行人在场景之中分布较为分散、彼此只在偶然的情况下产生遮挡（最简单的情况）

        • 可以通过分割独立的前景区块（blob）实现 方法简便，但鲁棒性较差

        • 情况二：遮挡情况较多或场景中存在我们并不关心的前景目标

        • 引入更加复杂的特征来解决遮挡带来的目标合并问题，并将无关的前景目标剔除，并最终提出了利用对轮廓外形敏感的高维特征 ​梯度方向直方图（HOG）

      • 大规模人群环境下的群体目标检测

      • 更加关注群体本身的运动趋势。大规模人群中的个体目标具有形态较小，不易区分的固有特点

        • 利用特征点的匹配来近似地获得其位置
    • 5.2.1 前景目标检测（①参数法、②样本法）

    • 背景消除的目标是去除场景中不关心的信息，保留运动的目标。 对每个像素在过去时间中的变化进行建模，据此对新的像素值进行分类。

      • 5.2.1.1 CodeBook背景建模技术
        • 解决这种问题的较好方法是得到每个像素或一组像素的时间序列模型

        • 这种模型能很好地处理时间起伏，缺点是需要占用较大的内存

        • 最简单的方法就是将一个像素现在的观测值和先前的观测值作比较。如果两个值很接近，它被建模为在那种颜色下的扰动；如果两个值不接近，它可以产生与该像素相关的一组色彩。
      • 5.2.1.2 混合高斯背景建模技术

      • 混合高斯背景减除的主要思路，是将一个特定的像素表示为多个高斯分布（又名正态分布）的混合。对于每一个像素点的值，可以依据其各个高斯分布的持续性和变化，判断其为前景或背景信息。

        • 在光照等外界条件基本保持不变时，像素值X的变化过程序列应当服从某一高斯分布
        • 光照、抖动等问题在背景建模问题当中广泛存在，像素点本身存在多峰状态，因此需要以多个高斯分布来综合描述其统计分布
        • 对于像素的观测值，通过一个混合高斯模型表示

        • 混合高斯模型能够准确描述像素的多峰状态，可以很好地适应光线的变化、场景中元素的相对移动、慢速移动的物体及进入或离开场景的目标。 每一帧图像中，混合高斯模型中的每个分布都将经历一次权重系数ω的更新，选择将权重系数最大的高斯分布作为当前图像中的背景信息，其余为前景，通过这样的不断更新与积累，也就可以区别前景与背景，达到自适应的背景去除

          • 学习系数α
          • 背景中应当被计算在内的数据比例T
      • 5.2.1.3 ViBe背景建模技术

      • 是一种样本法为基础的背景减除算法

        • 第一个贡献：是一种针对组成像素模型的样本值的新型的随机选择的策略
        • 第二个贡献：ViBe创造性地采用了一种快速、简单的空间信息增值方法，跨越相邻像素随机扩散像素值
        • 决定模型精确度的只有 两个 参数
          • 球体的半径R
          • 阈值# ​​​​​​ (样本个数的最小值)
    • 5.2.2 基于HOG特征的行人检测

    • 梯度方向直方图（histogram of oriented gradients,HOG） ​采取线性SVM(Supported vector Machine)对其进行分类

      • HOG描述子尤其适合人的检测
      • HOG特征的提取方法
        • （1）图像归一化，并划分成小cell；
        • （2）计算每个cell中每个像素点的梯度方向，并统计得到cell的直方图
        • （3）每四个cell组成一个block，将cell的梯度方向直方图组合起来，即可形成每个block的HOG特征
        • （4）统计整张图片中所有block的HOG特征，获得高维的HOG向量
    • 5.2.3 基于模板信息和直方图特征融合的目标检测

    • 对于不同颜色，色彩特征在对其进行区分时最为敏感，梯度特征由于其角度的多变性及纹理信息的缺失，难以直接进行有效利用，因此倾向于用前者进行区分

      • 颜色特征
        • 空间分布特性

        • 反映了不同颜色的像素在空间的分布规律，表现为目标与模板的匹配程度

        • 统计特性

        • 为像素信息的总体统计分布情况，可以由直方图特征准确地显示出来

        • 在检测时，需要有效地结合模板匹配与直方图匹配两种方法，实现特征信息融合
          • 模板匹配反映了像素点在空间中分布的匹配情况
          • 匹配遵循的原则为相关性准则
            • 模板对其均值的相对值与图像对其均值的相对值进行匹配

            • 1表示完美匹配，-1表示最糟糕的匹配，0表示没有任何相关性

          • 需要进一步的直方图匹配来滤除杂波
    • 5.2.4 多模板外观模型
      • 在实时跟踪场景中，外观模型不仅要具有很强的区分性，还要能够随时间实现动态的自我修正。
      • 公共场景监控视频中所捕获到的行人目标一般都具有相对稳定的尺寸，行人的行走姿态会随时间呈现周期性变化
        • 采用一组外观模板来描述单一目标的外观特性
        • 为每个外观模板合理赋权
        • 通过实时调整不同模板所占权重、更新模板内容，能有效地适应目标的外观变化
      • 背景建模 从某种意义上可以归结为 分类问题，目标检测问题 在一定程度上也可归结为 分类问题
      • 混合高斯背景建模的建模及赋权策略在多模板外观建模方面非常值得借鉴（ ）
      • 外观模板被用来描述个体当前的状态，并具有相应的权
      • 在相似性度量方面，也采用模板信息与直方图特征融合的方式对目标与模板进行匹配
      • 在多模板中选择相似度最高的匹配位置作为最终观测，并依赖训练阈值来判定当前位置是否为真实目标
    • 5.2.5 特征点近似
      • 人群紧密挨在一起时，相较于个体的准确位置，有时 更加关注群体本身的运动趋势
      • 在保证整体准确性的前提下，可以放宽对个体检测的要求，以牺牲有限的准确度为代价，对个体的检测进行近似
      • 一种可行的思路是通过 捕捉具有较强区分性的特征点的位置变化 来估计个体位置的变化
      • 特征点近似的方法对场景不做特殊要求，具有较强的鲁棒性， 可成功应用于不同场景下的人群目标检测
  • 5.3 人群跟踪及运动特征提取
    • 解决思路：以特征点的跟踪代替个体跟踪
    • 特征点的运动特征可以真实地反应人群的运动特征
    • 5.3.1 常用技术介绍

    • 视频跟踪中最常用的两种方法

      • Meanshift

      • 实现了对团块目标的连续跟踪

      • 光流法

      • 主要是从特征点的角度出发，实现了帧间的位置匹配

      • 5.3.1.1 Meanshift跟踪技术
        • 一般是指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束
        • 基于Meanshift的目标跟踪算法，正是 利用了其概率密度的梯度爬升特性来寻找局部最优
      • 5.3.1.2 光流法及Lucas-Kanade算法

      • 光流是空间运动物体在观测成像面上的像素运动的瞬时速度

        • 图像灰度在时间上的变化与景象中物体结构及其运动的关系
        • 对比帧间的运动，将图像中每个元素与速度关联，或者等价地与表示像素在连续两帧间的位移关联
        • Lucas-Kanade算法易用应用在输入图像上的一组点上，成为求稀疏光流的一种重要方法
          • 亮度恒定
          • 时间连续或者运动是“小运动”
          • 空间一致
        • 金字塔Lucas-Kanade光流法
    • 5.3.2 人群场景中的多目标跟踪
      • 思路：依托不同的外观特征从视频监控场景中寻找感兴趣的目标，并对检测结果进行关联
      • 核心在于将跟踪问题划分成目标检测与数据关联两个子问题，使原本复杂的问题得以分治
      • 行人的运动符合一定的客观规律，用数学方程的形式表征，并对人群的行为做出合理的模拟
      • 5.3.2.1 基于前景目标检测的多目标跟踪方法
        • 为了提高跟踪系统的精度及对目标的区分与持续跟踪能力，系统从时间上考虑引入了相邻帧的信息，提高了监控信息中每一帧图像中目标的识别能力与持续跟踪能力
        • 跟踪系统使用考虑到了时间连续性的前后三帧的跟踪方法
          • 前景提取采用了 混合高斯模型与ViBe 的结合
          • 利用隐马尔可夫模型实现前景的增强
        • 提取出目标的前景之后，使用Meanshift算法确定连续三帧中同一目标的对应位置，位置确定之后利用目标关联算法确定该目标当前的属性
          • 同一区域有三种目标的设定（ 没有目标、有一个目标、有多个目标 ），连续三帧就会有27中不同的分类
          • 目标有四种属性
            • 存在目标
            • 新目标
            • 虚假目标
            • 消失目标
          • 不同属性的目标有不同的后续处理方法
      • 5.3.2.2 人群情景模型驱动的多目标跟踪方法
        • 行人多目标跟踪问题的主要难点在于获得准确的目标检测
        • 提出人群情景模型（crowd context model，CCM）的解决思路，以“模型驱动（model driven）”的方式，将行人在运动时所表现出的某些客观行为规律引入跟踪领域
        • 人群情景模型采用“基于个体”的建模方法，将群体视作个体的集合
        • 1）个体外观建模
          • 公共场景监控视频中所捕获到的行人目标一般都具有相对稳定的尺寸，行人的行走姿态会随时间呈现周期性的变化（ ）
          • 在个体外观建模方面，人群情景模型采用多模板外观模型对目标的外观特征进行捕获
          • 多模板外观模型以模板组的方式记录目标的外观变化，实现了对行人姿态变化的适应；通过利用简单外观特征的融合，实现了对目标的有效区分(具体可参见 )
        • 2）个体行为建模
          • 人群情景模型试图 在现有人群行为研究的基础上对行人的运动进行建模
          • 在正常的人群场景下，行人的运动符合一定的客观规律，如人总是倾向于以均匀的速度、沿最短的路径到达目的地，个体会自动避开周边的障碍物并避免与他人的碰撞等
          • 人群情景模型影响行人行为有四个因素
            • （1）自我驱动
              • 如果行人的运动不受干扰，倾向于以自己最为舒适的速度通过场景，这种自发性的倾向即为个体的自我驱动
              • 自我驱动力正比与期望速度 ​​​​​​​​​​​ 与实际速度 ​​​​​​​​​​​ 的差值（期望速度较难衡量，用平均速度 ​​​​​​​​​​​​​ 反映期望速度的大小）
            • （2）心理避让
              • 个体对一定范围内可能阻碍自己运动的物体存在心理排斥
              • 当障碍物进入安全距离所划定的区域时，个体对它的排斥感会随距离的减小迅速扩大，促使个体做出避让
            • （3）形变弹力
              • 个体间相互作用带来的形变会引起形变弹力
              • 形变弹力不存在视角的约束
            • （4）摩擦力
              • 相互接触的个体之间如果存在相对运动，则会产生摩擦力
              • 实际场景中，行人之间的摩擦力并不显著
        • 3）行为先验辅助下的目标跟踪
          • 对目标位置的观测可以通过多模板外观模型从指定的图像区域中搜索而获得
    • 5.3.3 人群场景中的特征提取
      • 5.3.3.1 人群运动特征提取
        • 在公共场景中，人群目标的 行为状态最直观地反映在其运动趋势中
        • 对大规模人群的运动特征进行准确捕获 ，在公共安全评估领域具有重要意义
        • 如何 巧妙地解决个体检测问题 ，是人群运动特征提取的关键
        • 1）网格布点
          • 基本思想：通过平铺一层网状粒子在某一帧的输入图像上，在接下来的一个跟踪周期内，通过Lucas-Kanade方法跟踪这些特征点的位置变化，以此来估计群体目标的运动。
        • 2）动态系统聚类
          • 逐帧的检测过程中跟踪点会发生“漂移”，并逐步在某些角点位置聚集
            • 这种聚集会导致有效跟踪位置的减少
            • 网格更新会不断有新的跟踪点产生，跟踪点的总数在不断增加，给计算带来了很大的负担
          • 解决思路：引入动态的层次聚类，将距离小于一定阈值的特征点合并，并保留生存周期较长的特征点
        • 3）背景减除后的网格跟踪
          • 视频监控感兴趣的是进入场景的前景信息
          • 通过混合高斯的前景检测，可以实现运动目标与背景信息的分离，有效缩小跟踪范围
          • 动态层次聚类使前景区域特征点的数目基本正比于前景区域的面积大小
        • 4）人群运动特征计算
          • 通过计算特征点位置的变化来估计目标的运动状态
          • 对于特征点而言，其个体平均运动速度反映了通常情况下特征点的运动的情况
          • 对个体平均运动速度的计算，需要计算过去若干时刻其瞬时速度的平均值
      • 5.3.2.2 场景运动特征提取
        • 在一些特殊的场景中，有时限定了人群必须朝着特定的方向运动，使人群的运动表现出很强的结构性
        • 研究如何有效地提取平均运动场具有实际意义
        • 通过静态场地、动态场地及边界场地共同构建平均场地的思路