与其他方法区别
- Muti-task Learning
每个任务的训练资料都需要囊括，且要训练每一个任务，对存储和计算资源的严峻挑战，可作为LLL的upper bound - Transfer Learning
从任务A transfer 到任务B ，只要求在任务B上表现号即可，LLL要求在A、B上的表现都好
Evaluation
学了新的不忘旧
- Constraint-based
加一个带守卫（系数）的正则化项，使得改变不同参数对Loss影响不同 EWC守卫=系数的二次微分（变化率）
- Generated-based
训练另一个网络生成前向任务的训练图片->Muti task learning
新旧知识互相辅助
GEM：约束梯度更新方向有利于过去任务
unfair 使用过去任务的data了
模型不够用咋扩张
- 接收过去任务的输出，network滚雪球
- 加宽网络（+noise），有点像反向的dropout
待解决问题：
训练顺序？
