转自:http://blog.csdn.net/cyh_24 https://blog.csdn.net/cyh24/article/details/51537709
文章仅仅为了怕遗忘,当作学习笔记来翻阅~原作者整理的蛮清楚就转载过来了~
caffe 参数介绍
solver.prototxt
net: "models/bvlc_alexnet/train_val.prototxt"
test_iter: 1000 #
test_interval: 1000 #
base_lr: 0.01 # 开始的学习率
lr_policy: "step" # 学习率的drop是以gamma在每一次迭代中
gamma: 0.1
stepsize: 100000 # 每stepsize的迭代降低学习率:乘以gamma
display: 20 # 没display次打印显示loss
max_iter: 450000 # train 最大迭代max_iter
momentum: 0.9 #
weight_decay: 0.0005 #
snapshot: 10000 # 没迭代snapshot次,保存一次快照
snapshot_prefix: "models/bvlc_reference_caffenet/caffenet_train"
solver_mode: GPU # 使用的模式是GPU
test_iter
在测试的时候,需要迭代的次数,即test_iter* batchsize(测试集的)=测试集的大小,测试集的 batchsize可以在prototx文件里设置。
test_interval
训练的时候,每迭代test_interval次就进行一次测试。
momentum
灵感来自于牛顿第一定律,基本思路是为寻优加入了“惯性”的影响,这样一来,当误差曲面中存在平坦区的时候,SGD可以更快的速度学习。
wi←m∗wi−η∂E∂wi
train_val.prototxt
layer { # 数据层
name: "data"
type: "Data"
top: "data"
top: "label"
include {
phase: TRAIN # 表明这是在训练阶段才包括进去
}
transform_param { # 对数据进行预处理
mirror: true # 是否做镜像
crop_size: 227
# 减去均值文件
mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
}
data_param { # 设定数据的来源
source: "examples/imagenet/ilsvrc12_train_lmdb"
batch_size: 256
backend: LMDB
}
}
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
include {
phase: TEST # 测试阶段
}
transform_param {
mirror: false # 是否做镜像
crop_size: 227
# 减去均值文件
mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
}
data_param {
source: "examples/imagenet/ilsvrc12_val_lmdb"
batch_size: 50
backend: LMDB
}
}
lr_mult
学习率,但是最终的学习率需要乘以 solver.prototxt 配置文件中的 base_lr .
如果有两个 lr_mult, 则第一个表示 weight 的学习率,第二个表示 bias 的学习率
一般 bias 的学习率是 weight 学习率的2倍’
decay_mult
权值衰减,为了避免模型的over-fitting,需要对cost function加入规范项。
wi←wi−η∂E∂wi−ηλwi
num_output
卷积核(filter)的个数
kernel_size
卷积核的大小。
如果卷积核的长和宽不等,需要用 kernel_h 和 kernel_w 分别设定
stride
卷积核的步长,默认为1。也可以用stride_h和stride_w来设置。
pad
扩充边缘,默认为0,不扩充。
扩充的时候是左右、上下对称的,比如卷积核的大小为5*5,那么pad设置为2,则四个边缘都扩充2个像素,即宽度和高度都扩充了4个像素,这样卷积运算之后的特征图就不会变小。
也可以通过pad_h和pad_w来分别设定。
weight_filler
权值初始化。 默认为“constant”,值全为0.
很多时候我们用”xavier”算法来进行初始化,也可以设置为”gaussian”
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler
偏置项的初始化。一般设置为”constant”, 值全为0。
bias_filler {
type: "constant"
value: 0
}
bias_term
是否开启偏置项,默认为true, 开启
group
分组,默认为1组。如果大于1,我们限制卷积的连接操作在一个子集内。
卷积分组可以减少网络的参数,至于是否还有其他的作用就不清楚了。
每个input是需要和每一个kernel都进行连接的,但是由于分组的原因其只是与部分的kernel进行连接的
如: 我们根据图像的通道来分组,那么第i个输出分组只能与第i个输入分组进行连接。
pool
池化方法,默认为MAX。目前可用的方法有 MAX, AVE, 或 STOCHASTIC
dropout_ratio
丢弃数据的概率
补充一项,有些层中(如下)会有engine:CAFFE
layer {
name: "conv9/dw"
type: "Convolution"
bottom: "conv8"
top: "conv9/dw"
param {
lr_mult: 0.1
decay_mult: 0.1
}
convolution_param {
num_output: 512
bias_term: true
pad: 1
kernel_size: 3
group: 512
engine: CAFFE
weight_filler {
type: "msra"
}
}
}
在caffe的proto文件里,多次能看到枚举类engine,可选的类别有defaul、caffe和cudnn,这个变量是什么意思,对应的3个可选值分别代表什么呢?
其实就两种引擎CAFFE vs. cuDNN。Default就是指向caffe engine的。
要讲清两者的区别,先要说一下什么是cuDNN.
CUDA是GPU编程的API。BLAS(as you know)是矩阵运算的高度优化的函数库。cuDNN就有点像BLAS,是GPU上深度学习计算时常用的一些计算操作/函数的实现库,如卷积,Pooling, softmax, sigmoid, tanh之类的。它是针对这些操作,像BLAS一样,做了超强的优化的,性能优,内存占用小,效率高。
用它的好处,自不必说,一个功能,就不用大家,即每个框架,都自己实现一遍了,直接统一调用cuDNN库里的实现就好了。当然,不是每个layer,cuDNN都支持,所以,你可以看到,engine这个参数,只有上述部分layer里才可以定义。