一 简介

  户生成内容（UGC）的快速增长视频需要开发有效的视频质量评估（VQA）算法。然而，UGC-VQA问题的仍然不明确解答，可以从两个角度来看：技术角度，测量对失真的感知；以及美学视角，涉及对内容的偏好和推荐。了解这两种观点影响UGC-VQA的整体主观意见，我们进行了一项大规模的主观研究来收集人类素质对视频整体质量的看法以及从美学和技术角度的看法。已收集的离散视频质量数据库（DIVIDE-3k）确认对UGC视频的人性化评价普遍且不可避免地受到审美和技术视角。有鉴于此，我们建议离散客观视频质量评估器（DOVER）从这两个角度了解UGC视频的质量。DOVER证明了其最先进的性能在UGC-VQA中，效率非常高。有远见在DIVIDE-3k中，我们进一步提出DOVER++第一种从单一美学或技术角度提供可靠、明确的质量评估的方法。
论文地址：https://arxiv.org/pdf/2211.04894v3
源码：https://github.com/VQAssessment/DOVER

二 内容

2.1 目前方法的缺陷

  理解和预测人类对各种原生视频的体验质量（QoE）一直是一个长期存在且未解决的问题。之前的方法要么采用技术的角度进行评估视频质量，要么采用美学特征评估视频质量。作者构建了第一个美学和技术视频质量数据库（DIVIDE-3k），450K对3590个不同UGC视频，提出从美学和技术角度进行用户生成内容的视频质量评估。 DOVER由两个分支组成，每个分支都专注于一个视角的影响。具体来说，基于与每个视角相关的质量问题的不同特征，我们为每个分支精心设计了归纳偏差，包括具体输入、正则化策略和预训练。

2.2 本文贡献

  
1） 我们收集了DIVIDE-3k（3590个视频），这是第一个UGC-VQA数据库，包含450000个主观信息从美学和技术角度的质量意见及其对整体质量分数的影响。使用单一特征的性能指标，MOSa表示美学特征，MOSt表示技术特征。

2） 通过分析观点，我们观察到人的质量感知受到审美和情感的广泛影响在UGC-VQA问题的技术视角下，更好地解释了人类对它的感知机制。
3） 我们提出DOVER，一个主观视频质量评估有两个分支，分别关注美学和技术角度。DOVER展示了所有UGC-VQA数据集的最新技术。
4） 我们的方法可以从以下方面提供质量预测单一视角，可用作以下指标例如视频系统（技术）或内容推荐（美学）或用于个性化VQA（第5.5节）。

美学评级，我们选择示例图像从审美角度看审美品质的好坏评估数据库AVA[22]，每个用于20幅图像，作为美学评估的校准。
技术评级，我们指导受试者纯粹根据技术失真进行评分，并为以下八个问题中的每一个提供5个例子常见失真：1）噪声；2） 人工制品；3） 锐度低；4） 失焦；5） 运动模糊；6） 摊位；7） 抖动；8.暴露过度/不足。

  网络结构：

2.3 训练细节和评估

  实验细节：
美学角度，我们在推理过程中使用大小为224×224的SA，并使用大小为128×128的过度下采样SA，以更好地排除技术质量问题。N=32帧从每个视频和主干都ConvNext[70]Tiny使用AVA进行预训练[22]。
技术角度，我们收割来自7×7空间网格的Sf=32大小的单个补丁在训练期间对32个连续帧的片段进行采样，在推理期间对三个片段进行采样的骨干技术分支是Video Swin Transformer[71]微型GRPB[13]。λCR设置为0.3，λLVBS设置为0.5。尽管对DOVER和DOVER++进行了评估我们还提出了DIVIDE-3k（3590个视频）数据库使用大规模UGC-VQA数据集评估DOVER，LSVQ[1]（39072个视频），以及三个较小的UGC-VQA数据集，KoNViD-1k[3]（1200个视频），LIVE-VQC[4]（585个视频）和YouTube UGC[5]（1380个视频）

三 性能

4.结论

  本文介绍了DIVIDE-3k数据库和第一项主观研究旨在探索UGC-VQA的美学和技术视角揭示了这两种观点都会影响人类素质的观点。鉴于这一观察，我们提出以下目标质量评估人员，DOVER和DOVER++，实现两个目标：1）显著提高UGCVQA的整体性能；2） 两种视角的解耦效应，以适用于特定的现实世界场景其中需要纯粹的技术或美学质量指标。

视频质量评估：https://blog.csdn.net/helloworld_Fly/article/details/129773348
视频质量评估：https://blog.csdn.net/qq_42078712/article/details/129068971