深度学习（七十四）半监督Mean teachers

Probabilistic Teacher框架通过不确定性引导的自训练，有效地处理了目标域中未标记数据的适应问题，提高了模型在不同域之间的泛化能力。该框架可以无缝扩展到无需源数据的UDA-OD设置中，这在隐私敏感的应用场景中非常有用。未来，可以进一步探索如何优化Probabilistic Teacher框架中的不确定性表示和利用方式，以及如何将其应用于更多的域自适应任务中。

最近提出的时间集成在几个半监督学习基准中取得了先进的成果。它在每个训练示例上保持标签预测的指数移动平均值，并惩罚与此目标不一致的预测。然而，由于目标在每个时代只改变一次，当学习大型数据集时，时间集成变得笨拙。为了克服这个问题，作者提出了mean teacher，一种平均模型权重而不是平均预测标签的方法。mean teacher提高了测试的准确性，并且能够使用比时间集成更少的标签进行训练。作者还证明了良好的网络架构对性能至关重要。

简单入门理解半监督中的Mean Teacher

对于同样的输入样本X，我们通过扩充变换、加入噪声等，然后得到输入 teacher、student 网络数据，这样由于加了噪声，所以teacher 和student 的输入有可能是不同的，这样训练出来的网络，同时也让网络具备抗噪声的能力，得到的精度更高。在网络最开始训练阶段，由于参数是随机初始化而来，其对于类别的分类肯定也是大部分不正确的，所以teacher 和student 输出标签不同比较正常，所以一开始的时侯a值得选择，不应该选择太大，应该。此外，还提出了一种先进的框架来逐步利用未标记的图像。

论文标题： Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results Antti Tarvainen（芬兰，阿尔托大学）, Harri Valpola (The Curious AI Company) 作者有一句话***“目前在用的所有人工智能都是二流的”*** The Curious AI Company公司是一家芬兰深度

Mean teachers are better role models 最近提出的时间集成在几个半监督学习基准中取得了最新的结果。它在每个训练示例上保持标签预测的指数移动平均，并惩罚与此目标不一致的预测。然而，由于目标每一个epoch只改变一次，当学习大的时候，时间集合变得很难处理数据集。到为了克服这个问题，我们提出了Mean-Teacher，一种平均模型权重而不是标记预测的方法。作为一个额外的好处，Mean-Teacher提高了测试的准确性，并使训练比临时集合的标签更少。在不改变网络结构的情况下，Mea

Mean teacher: 半监督深度学习Consistency 一致性 Consistency 一致性 weight-averaged consistency

©PaperWeekly 原创 ·作者｜燕皖单位｜渊亭科技研究方向｜计算机视觉、CNN在现实生活中，无标签的数据易于获取，而有标签的数据收集起来通常很困难，标注也耗时和耗力。在这种情况...

Temporal Ensembling方法通过预测的标签的EMA（exponential moving average），并且通过保证ensemle 模型和 trained模型预测标签的连续一致性，从而保证训练得到的ensemle模型尽可能的接近groud truth模型。这里可以理解为，如果如果模型是正确的，那么前后两个模型的预测标签应该是接近的，并且变化较小的，那么使模型向使两个模型预测结果接近的方向移动，就是向groudtruth model移动。这种方法，每一个epoch标签数据仅仅会改变一次，对于

目录 1 什么是半监督学习？ 2 符号说明 3 半监督学习中的假设 4 一致性正则化 1. Π-Model 2. Temporal Ensembling 3. Mean Teachers 4. 带噪样本作为学习目标 5 伪标签方法 1. 标签传播(Label propagation) 2. 自训练(Self-Training) 3. 减少确认偏误 6 伪标签+一致性正则化 1. MixMatch 2. DivideMix 3. FixMatch 7 结合强大的预训练 总结

总结半监督学习的部分算法：算法1：Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks基本算法思路pseudo-label起作用的一些理论依据算法2：Temporal Ensembling for Semi-Supervised Learning算法...

I Introduction当一个对象作轻微地改变，人类仍然认为它是同一个对象。相对地，一个分类模型应支持提供一致的输出相似的数据点的功能。实现这一目标的一种方法是向模型的输入添加噪声。为了使模型的学习保持更抽象的不变性，噪声可以被添加到intermediate representations，洞察力，促使许多正则化技术，如Dropout[ 28 ]。正则化模型最小化了每个数据点周围流形上的开销，...

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达仅作学术分享，不代表本公众号立场，侵权联系删除转载于：作者丨kinredon@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/404160115编辑丨极市平台近期阅读了一些半监督目标检测（Semi-Supervised Object Detection，SSOD）的文章，特此总结，以供未来查阅。什么...

本文深入解析了Mean Teacher方法如何通过权重平均一致性目标提升半监督学习性能。该方法维护一个参数指数移动平均的教师模型，为学生模型提供稳定、平滑的学习目标，有效利用无标签数据，解决了传统方法目标不稳定或更新慢的问题。文章结合PyTorch实战代码，详细阐述了其核心机制、实现细节及在图像分类等领域的应用。

版权声明：本文为博主原创文章，欢迎转载，转载请注明原文地址、作者信息。https://blog.csdn.net/hjimce/article/details/50573444 hjimce算法类博文目录个人博客：http://blog....

推荐开源项目：PS-MT——半监督语义分割的增强指导者 PS-MT 项目地址: https://gitcode.com/gh_mirrors/ps/ps-mt 在计算机视觉领域，数据标注的成本高昂且耗时，特...