“Life Long Learning”（终身学习）是一种让深度学习模型能够持续地在不同的任务上进行增量学习的方法，它旨在解决传统的深度学习模型在面对新任务时容易出现“灾难性遗忘”（catastrophic forgetting）的问题³。也就是说，当一个深度学习模型在一个新任务上进行训练时，它会忘记之前在其他任务上学到的知识，导致在旧任务上的性能下降³。
“Life Long Learning”可以通过以下几种策略来提高深度学习模型的能力：
知识保留（Knowledge Retention）：这种策略是通过对模型参数更新做一些限制，让它不要偏离之前任务太远，从而避免忘记之前的知识。
知识迁移（Knowledge Transfer）是一种让深度学习模型能够利用已有的知识来解决新的任务的策略。它的基本思想是，如果两个任务之间有一些共同的特征或规律，那么在一个任务上学到的知识可以帮助另一个任务的学习。例如，如果我们想让一个模型能够识别猫和狗的图片，我们可以先让它在一个大型的图片数据集上进行预训练，学习一些通用的图像特征，然后再在一个小型的猫狗图片数据集上进行微调，学习一些特定的猫狗特征。这样，我们就可以利用之前任务的知识来提高后续任务的性能。
知识迁移有很多种方法，其中一种是Progressive Neural Network（PNN）。PNN是一种动态地增加网络结构来适应不同任务的方法。它的基本思想是，对于每个新任务，它都会增加一个新的网络列（column），并且将之前任务每层输出的特征作为新任务对应层的输入。这样，新任务就可以利用之前任务的特征来进行学习，而不会影响之前任务的参数。
实战中可以把老的数据集当成任务1，新收集的数据集当成任务2
灾难性遗忘的示例：
