基于深度学习的图像质量排序

国内外各大互联网公司(比如腾讯、阿里和Yelp)的线上广告业务都在关注展示什么样的图像能吸引更多点击。在美团,商家的首图是由商家或运营人工指定的,如何选择首图才能更好地吸引用户呢?图像质量排序算法目标就是做到自动选择更优质的首图,以吸引用户点击。

传统的图像质量排序方法主要从美学角度进行质量评价,通过颜色统计、主体分布、构图等来分析图片的美感。但在实际业务场景中,用户对图片质量优劣的判断主观性很强,难以形成统一的评价标准。比如:

  1. 有的用户对清晰度或分辨率更敏感;
  2. 有的用户对色彩或构图更敏感;
  3. 有的用户偏爱有视觉冲击力的内容而非平淡无奇的环境图。

因此我们使用深度学习方法,去挖掘图片的哪些属性会影响用户的判断,以及如何有效融合这些属性对图片进行评价。

我们使用AlexNet去提取图片的高层语义描述,学习美感、可记忆度、吸引度、品类等High Level特征,并补充人工设计的Low Level特征(比如色彩、锐度、对比度、角点)。在获得这些特征后,训练一个浅层神经网络对图像整体打分。该框架(如图2所示)的一个特点是联合了深度学习特征与传统特征,既引入高层语义又保留了低层通用描述,既包括全局特征又有局部特征。

                                 图2 图像质量排序技术框架

对于每个维度图片属性的学习,都需要大量的标签数据来支撑,但完全通过人工标记代价极大,因此我们借鉴了美团的图片来源和POI标签体系。关于吸引度属性的学习,我们选取了美团Deal相册中点击率高的图片(多数是摄影师通过单反相机拍摄)作为正例,而选取UGC相册中点击率低的图片(多数是低端手机拍摄)作为负例。关于品类属性的学习,我们将美团一级品类和常见二级品类作为图片标签。基于上述质量排序模型,我们为广告POI挑选最合适的优质首图进行展示,起到吸引用户点击,提高业务指标的目的。图3给出了基于质量排序的首图优选结果。

                          图3 基于图像质量排序的首图优选

猜你喜欢

转载自blog.csdn.net/hzwaxx/article/details/83829780