该论文探讨了知识蒸馏过程中结构知识的重要性。传统方法忽视了这一方面，而新方法通过最大化互信息来确保不同输入映射到不同的值，相同输入在教师和学生模型间的输出接近。作者使用了贝叶斯公式和互信息理论，提出了基于最大似然估计的优化目标，并通过构造函数和Gibbs不等式来约束和优化模型。最终目标是找到使学生模型和教师模型间互信息最大的条件，从而改进知识蒸馏的效果。
paper:https://arxiv.org/pdf/1910.10699.pdf
abstract:
问题：
knowledge distillation忽视了structural knowledge
实验结果：
新方法产生了优化，有的时候甚至是test中的top 1
method :
目标：
最大化互信息，让不同的输入尽可能映射到不同的值，相同的输入在T和S模式下映射的值尽可能接近
约定的记法：
很自然的我们想到，通过最大化KL散度能够最大化互信息
接下来，每给1个全等对就有N个不全等对
因此先验概率为：
接下来运用了贝叶斯公式：
然后开始构造互信息的形式：
简单的取对数和拆开
移动，并且求数学期望有
但是由于q(C = 1|T, S) 是未知的，所以作者使用了极大似然估计。我们注意到，这是个概率，所以它的值一定在0-1之间，所以我们找到的函数也应该在0-1之间。常用的有sigmoid，本文中使用的如下：
其中M是数据集的容量
对于拟合的函数，他使用的是：
结合Gibbs不等式，有：
对于N，是确定的了，因此我们如果想要优化其下界，就需要优化右边的数学期望
同时有，想找到一个学生，使得mutual information最大
就有
因此，就陷入了死循环。于是接下来作者进行了一个条件的弱化，
这个不等式成立的条件是因为，右边加上了一个严格的负数，所以依然是成立的。
所以最后的目标就是
扫一扫
3597
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
