前言
底层打工人，在线调bug
关于pytorch中的模型
model.train()
符号描述:
- encoder表示embedding模型(可能是bert可能是glove…)
- model表示主模型，encoder的输出作为model输入
问题描述:
情况一:encoder和model是分开的模型，此时你在训练model的时候，一定会加上model.train()；情况二:如果encoder定义在了model里面，即model.init()中，你写了self.encoder=encoder，此时你再加上model.train()。
在这两个情况中，model部分的计算是一样的，但encoder不一样，一个是eval()模式，一个是train()模式，就会导致结果的不同
seed
符号描述:
- model表示你定义的模型
- a表示第一个线性层
- b表示第二个线性层
问题描述:
代码一:model中只定义了b这个线性层；代码二:为了好玩，model中同时定义了a和b这两个线性层，但实际使用的依然只有b这个线性层。
在这两份代码中，就算你seed固定的一样，那你的b的这个线性层的参数初始化就不一样了。