Hyperparameter tuning process
调整步骤
- 有哪些超参数需要调(红色最优先,黄色次之,紫色随后)
- 在调谐时,不要用grid;而是要随机选择参数,因为你并不知道什么参数会更重要
- 由粗到细。
范围选择
- 对于
等参数,使用random sampling uniformly是合适的。
- 对于learning_rate,应该在log scale上进行random sampling
- 对于在exponentially weighted averages中的
,需要做个小转换