版权声明: https://blog.csdn.net/u013841196/article/details/82949283
- 《Head pose estimation in the wild using Convolutional Neural Networks and adaptive gradient methods》
2017,Massimiliano Patacchiola, Angelo Cangelosi. adaptive gradient methods
本文使用4种最新的网络结构来训练头部姿态估计,作者也探讨dropout和adaptive gradient methods对结果性能得影响。
网络结构:
四种网络结构得细节:
对于Dropout:
The probability p is another hyperparameter to tune. However numerous experimental results suggest that a value of p = 0.5 produces the best performance , so we used this value in our experiments.
实验结果:
可以发现:Adam和RMSProp优化器效果最好。
训练阶段比较:
收敛速度比较:
小结:
可以发现,在进行CNNs训练过程中,与更传统的优化器相比,Adam和RMSProp优化器效果和收敛速度都比较好,建议使用这两种优化器。