关键帧提取

测试方法

如果当前片段没有关键帧，设为0
如果有，设为4，时间和正确占比6:4
计算多余的占总关键帧数的比例，+=6（1-tmp）
如果多余超过了1/10个关键帧，那么直接+=0
最后取均值/=10。
为最后的效率。

帧差法

普通帧差法

$Step\ 1$
计算帧间差分

$Step\ 2$
提取局部极值，设置个阈值去除一些近的局部极值

代码

优化帧差法1.1

$Step\ 1$
预设关键帧的数量 $k$

$Step\ 2$
帧间距离 $D(H_t,H_{t+1})=\sqrt{\sum\limits_{i=1}^n({H_{t}^k-H_{t+1}^k})^2}$
$H_t^k$表示第 $t$张图第 $k$个颜色或者灰度值

$Step\ 3$
计算帧差的最小值和最大值，计算出中间值 $mid(D)=(max(D)+min(D))/2$

$Step\ 4$
移除所有 $val\leq mid(D)$的局部极值，剩余极值点数量为 $L$

$Step\ 5$
$k \leq L$，挑选前 $k$个关键帧。
$k > L$，保持前 $L$个关键帧。

代码

效果尚可，但是有些部分重复严重

优化帧差法1.2

在 $1.1$的基础上，帧间距离 $D(H_t,H_{t+1})$
$D^2(H_t,H_{t+1})=\sum\limits_{i=1}^nw_k\frac{(H_{t}^k-H_{t+1}^k)^2}{H_{t+1}^k}$
将图片分成 $9$部分， $[\ [1\ 2\ 1],[2\ 4\ 2],[1\ 2\ 1]\ ]$

重复情况减少，但是由于自适应预设关键帧数量的原因，可能会导致后面部分关键帧选不上。

优化帧差法1.3

在 $1.2$的基础上用马氏距离。

优化帧差法1.4

利用对三种色调分别进行计算 $DCT$向量。
计算出差异。
待学习的一个特质。

聚类法

链接

https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2019&filename=SGXY201903015&v=MjE1NThSOGVYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVI3cWZaT1JuRkNqbFdyL09OaXJUZDdHNEg5ak1ySTlFWVk=

基于镜头边界检测的关键帧提取

https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2019&filename=DZCL201919028&v=MjM3MTZiSVI4ZVgxTHV4WVM3RGgxVDNxVHJXTTFGckNVUjdxZlpPUm5GQ2psVmJyT0lUZklZckc0SDlqTnBvOUg=

https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CMFD&dbname=CMFD201902&filename=1019654369.nh&v=MTUyMjZxZlpPUm5GQ2psV3JyQVZGMjZGN1c5R3RMS3BwRWJQSVI4ZVgxTHV4WVM3RGgxVDNxVHJXTTFGckNVUjc=

深度学习

https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2019&filename=XTYY201911025&v=MzI0Mjg3RGgxVDNxVHJXTTFGckNVUjdxZlpPUm5GQ2psVkwzTVBUblNkN0c0SDlqTnJvOUhZWVI4ZVgxTHV4WVM=

https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2019&filename=JZDF201905027&v=MDk5NDJDVVI3cWZaT1JuRkNqbVVyN0tMemZQYUxHNEg5ak1xbzlIWTRSOGVYMUx1eFlTN0RoMVQzcVRyV00xRnI=