Transformer warning: [encoder.embed_tokens.weight] is newly initialized

在使用transformer 加载预训练的T5 encoder参数的时候, 经常会出现:

Some weights of T5EncoderModel were not initialized from the model checkpoint 
at t5-large and are newly initialized: ['encoder.embed_tokens.weight']

这个['encoder.embed_tokens.weight']参数,顾名思义,就是encoder的embedding weight。

很多人在看到这个warning的时候会担心,embedding随机初始化,会不会影响到模型性能。

经过笔者多方查证,这个['encoder.embed_tokens.weight']的初始化对于模型性能是没有任何影响的,可以忽视。

在这里插入图片描述
如果想要没有这个报错,就升级transformer到最新版本。

具体详见:Warning when loading T5 encoders

猜你喜欢

转载自blog.csdn.net/weixin_43301333/article/details/130681978