在使用transformer 加载预训练的T5 encoder参数的时候, 经常会出现:
Some weights of T5EncoderModel were not initialized from the model checkpoint
at t5-large and are newly initialized: ['encoder.embed_tokens.weight']
这个['encoder.embed_tokens.weight']
参数,顾名思义,就是encoder的embedding weight。
很多人在看到这个warning的时候会担心,embedding随机初始化,会不会影响到模型性能。
经过笔者多方查证,这个['encoder.embed_tokens.weight']
的初始化对于模型性能是没有任何影响的,可以忽视。
如果想要没有这个报错,就升级transformer到最新版本。