【数据产品案例】更善于自动抓拍「有趣」瞬间:谷歌 Clips AI 拍照新技术

案例来源:@AI科技评论

1. 目标:在google clips抓拍的视频中自动选取出用户可能会喜欢的视频片段。为了避免用户隐私泄露,模型输出需要在相机本地完成。

2. 评估好与坏:
1)将每个视频分割成若干个短视频片段,随机选取其中两个片段,标注人员标注谁比较好
2)成对评估难度会比直接标注视频分数简单,标注人员标注的稳定性也较好
3)最终从clips的1000个视频中提取了5000万个用于对比的短视频,人工标注作为成对评分

3. 模型训练
1)运用google图像搜索相同的技术,为照片打标签
2)目前google可以为图片打27000种标签,为了降低模型复杂度,google的摄影专家筛选了数百个与预测一张照片“有趣”有关的标签
3)对于一对短视频:
a. 输出每一帧的图片标签
b. 根据标签做分段线性回归得到图片得分
c. 对多帧图片的短视频进行汇总,取平均分作为最终得分
d. 目标是让成对评分中“有趣”的短视频得分更高

4. 抓拍控制
1)降低功耗:clips每秒拍摄一张照片(低功耗状态),当照片的有趣程度高于clips的阈值,就进入拍摄15秒短视频状态(高功耗状态)
2)避免冗余拍摄:将视觉上相似的短视频作为一类(如狗狗类、小孩类),每个类只保留一定数量的视频
3)二次评估:用户是评估视频是否有趣的最终标准,clips倾向于拍摄更多片段,让用户有选择权

5. 机器学习的公平性
1)数据集中对性别、肤色做取样,避免模型偏向于某种性别或肤色
2)任何软件上的改变都要进行电池续航测试



猜你喜欢

转载自blog.csdn.net/u013382288/article/details/80981301