Raki的读paper小记：LEARNING FAST, LEARNING SLOW : A GENERAL CONTINUAL LEARNING METHOD

原创

已于 2022-04-08 23:00:17 修改 · 1.3k 阅读

标签

#深度学习 #神经网络 #人工智能 #持续学习 #机器学习

于 2022-02-28 15:13:19 首次发布

该研究提出了一种双重记忆经验回放方法（CLS-ER），受大脑的互补学习系统（CLS）理论启发，旨在解决深度神经网络（DNNs）中的持续学习挑战。CLS-ER通过长期和短期语义记忆以及事件性记忆的交互，模仿海马体和新皮层的功能，有效防止灾难性遗忘。方法利用指数移动平均来维护记忆，通过一致性损失促进新知识的巩固，同时保持决策边界的稳定性。实验表明，CLS-ER在各种持续学习设置中表现优越。

Abstract & Introduction & Related Work

研究任务
持续学习
已有方法和相关工作
1. CLS理论认为，高效的学习需要两个互补的学习系统：海马体表现出短期适应性和对偶发信息的快速学习，然后逐渐巩固到新皮层，以便缓慢地学习结构化信息
2. 许多现有的方法只注重直接对前额叶皮层进行建模，而没有快速学习网络，而快速学习网络在实现大脑中的高效CL方面起着关键作用
面临挑战
在深度神经网络（DNNs）中实现CL的主要挑战是，从非稳态数据分布中不断获取增量信息通常会导致灾难性的遗忘，即在学习新的任务时，模型在之前学习的任务上的表现会急剧下降。
创新思路
不利用任务边界，也不对数据的分布做任何假设，这使得它具有多功能性，适合于 “一般持续学习”
实验结论

我们基于大脑中的补充学习系统理论提出了一个novel的双记忆经验回放法
除了一个小的事件性记忆，我们的方法构建了长短期语义记忆来模仿信息的快速和缓慢适应，由于网络权重编码任务的学习表征（Krishnan等人，2019年），语义记忆是通过采取工作模型权重的指数移动平均值来维持的，以巩固不同时间窗口和频率的任务信息。语义记忆与外显记忆相互作用，以提取巩固的重放激活模式，并对工作模型的更新强制执行一致性损失，以便获得新的知识，同时使工作模型的决策边界与语义记忆的决策边界一致。这保持了模型的可塑性和稳定性之间的平衡，以便有效地巩固知识
在这里插入图片描述

METHOD

COMPLEMENTARY LEARNING SYSTEM THEORY

CLS理论认为，大脑中有效的终生学习需要两个互补的学习系统。海马体迅速将新的信息编码为短期记忆，随后用于转移和巩固新皮层中的知识，新皮层通过经验回放逐渐获得结构化的知识表征作为长期记忆。海马体和新皮层的功能之间的相互作用对于同时学习有效的表征（以便更好地泛化）和基于实例的外显记忆的具体内容至关重要

COMPLEMENTARY LEARNING SYSTEM BASED EXPERIENCED REPLAY

在CLS理论的启发下，我们提出了一种双重记忆经验重放方法，即CLS-ER，其目的是模仿快速学习和慢速学习机制之间的相互作用，以实现DNNs的有效CL。我们的方法保持了对遇到的任务的短期和长期语义记忆，这些记忆与重放相关神经活动的事件记忆相互作用。工作模型被更新，使其获得新的知识，同时使其决策边界与语义记忆保持一致，以实现跨任务的结构化知识的巩固。图1强调了CLS理论和我们的方法之间的相似之处

Semantic Memories

由于所学任务的知识被编码在DNN的权重中，我们的目的是通过积累模型的相应权重中编码的知识来形成我们的语义记忆，因为它依次学习了不同的任务

平均教师（Mean Teacher）提供了一种聚合模型权重的有效方法，它是一种知识蒸馏方法，在训练期间使用学生的权重的指数移动平均数（EMA）作为半监督学习的教师。它也可以被认为是形成中间模型状态的自我组合，从而导致更好的内部表示。我们采用平均教师的方法来建立我们的语义记忆，因为它提供了一种计算和记忆效率高的方法来积累任务的知识

由于CL涉及到依次学习任务，每个训练步骤的模型权重可以被认为是专门针对某一特定任务的学生模型。因此，在训练过程中平均权重可以被认为是形成了一个特定任务的学生模型的集合，它有效地聚合了整个任务的信息，导致了更平滑的决策边界。CLS-ER通过在工作模型的权重上保持两个EMA加权的模型来建立长期（稳定模型）和短期（塑性模型）的语义记忆。稳定模型的更新频率较低，窗口大小较大，因此它能保留更多来自早期任务的信息，而塑性模型的更新频率较高，窗口大小较小，因此它能更快地适应新任务的信息（图2）。D节进一步说明了采用两个语义记忆而不是单一的语义记忆的好处
在这里插入图片描述