【论文精读】Resnet残差网络（Deep Residual Learning for Image Recognition）

原创 已于 2024-04-02 16:19:18 修改 · 3.3k 阅读 · 37
于 2023-09-27 19:30:09 首次发布
本文介绍了深度网络中出现的退化问题，通过引入快捷连接和残差网络结构来解决。作者探讨了底层映射的概念，提出通过添加自身映射（快捷连接）的方式让网络逼近底层映射，从而避免深度增加导致的性能下降。实验结果显示，残差网络在ImageNet和CIFAR-10数据集上表现出更好的深度优势和收敛性。

简介

本文作者是何恺明，张祥雨，任少卿，孙健；2016年发布在IEEE上；

本文提出深层网络出现的退化问题，通过提出添加快捷连接来解决

一、底层知时

1.1退化问题

图像识别任务中，网络性能可以通过堆加网络深度得以提升

但这个过程往往不是线性的，当网络层数足够深时，退化问题开始显现了；

退化问题不是由过拟合引起，当识别精度趋于收敛时，增加网络层数会导致训练误差增加

1.2底层映射

常规网络中，我们的优化目标是是我们的网络可以逼近底层映射（underlying mapping）

在分类问题中，底层映射是一种基于上帝视角，可以完全将输入样本特征映射成标签的映射，即f(x)=y，其中f(\cdot)便是底层映射，x,y为样本的特征和标签；

现实生活中这种映射往往难以找到，所以我们希望训练出一种映射去逼近底层映射，即

f'(x)\rightarrow f(x)

1.3快捷连接

自然界有一种十分简单的映射模式，这种映射将输入映射至其本身，即f(x)=x，我们称这种映射模式为自身映射（identity mapping），或是恒等映射

我们将底层映射定义为H(x)；如果神经网络可以拟合底层映射H(x)，那么一样可以拟合

H(x)-x；

如果我们把由网络块堆叠而成的神经网络称为原始映射（original mapping）F(x)

相比于传统神经网络

标签
#学习 #机器学习 #人工智能 #卷积神经网络 #神经网络
#分类 #计算机视觉
最低0.47元/天 解锁文章
ResNet《Deep Residual Learning for Image Recognition》
985小菜鸡
03-21 1915
残差连接最核心的地方是就是说 resnet 是结合了和是那些跳过一个或多个层的连接。在本文中，只是执行，其输出被添加到堆叠层的输出中。连接既不增加额外的参数，也不增加计算复杂度。整个网络仍然可以通过反向传播的SGD进行端到端训练。下面这个残差块中，旁边的分支首先是一个，而在这个之上，执行了将输入恒等映射到输出端，并与进行相加。
ResNet(论文阅读)：Deep Residual learning for Image Recognition
m0_54248968的博客
07-13 2463
深层神经网络往往更难训练，我们提出了一种残差学习框架，使得网络深度可以大幅度增加，同时降低了训练难度。我们明确地将每一层改造成相对于输入进行学习的残差函数，而不是学习无参考函数。大量的实证证据表明，这种残差网络更容易优化，并且可以通过显著增加网络深度来提高准确率。我们在ImageNet数据集上评估了最大深度达到152层的残差网络——比VGG网络深8倍，但复杂度更低。这些残差网络的集成在ImageNet测试集上的错误率为3.57%。此外，我们还对CIFAR-10数据集的100层和1000层进行了分析。
何凯明 残差连接（Residual Connection）
最新发布
2302_80130040的博客
05-17 202
核心一句话：残差连接就是给深度神经网络“开后门”，让原始输入能直接跳过部分网络层，解决深层网络“学不动、学不好”的问题，是何凯明团队的核心贡献之一。一、先搞懂：何凯明和残差连接的由来。
论文复现笔记（三）：Deep Residual Learning for Image Recognition
Cu_04的博客
04-03 2812
📌📄 论文标题：📚 发表期刊/会议：CVPR, 2016✍ 作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun🔗。
【Deep Residual Learning for Image Recognition】
afadgas的博客
09-28 5235
resnet 论文
【ResNet】Deep Residual Learning for Image Recognition
Ziy的博客
09-26 1924
残差学习开山之作--ResNet
论文精读——ResNet （Deep Residual Learning for Image Recognition）残差网络
qq_46555222的博客
07-17 4064
分别进行不同深度网络的训练和测试发现更深层的网络更易出现精度饱和后迅速降级的现象，我们称这种现象为——**退化**，并且发现退化产生的原因不是过度拟合，**而是层数变多引起的训练误差更高，随之测试误差也会更高**。
【论文精读】ResNet (Deep Residual Learning for Image Recognition）
weixin_54098256的博客
02-01 1134
退化问题指的是当网络变深后性能还不如浅层的网络。如Figure 1. 所示，56层的训练和测试误差比20层还大。
李沐论文精读： ResNet 《Deep Residual Learning for Image Recognition》 by Kaiming He
iwill323的博客
12-14 1722
李沐论文精读： ResNet 《Deep Residual Learning for Image Recognition》 by Kaiming He
【论文精读】Deep Residual Learning for Image Recognition
学习记录，厚积薄发
02-12 1198
经久不衰的残差网络ResNet
【论文浅尝】Resnet:Deep Residual Learning for Image Recognition
youngmac1的博客
01-25 2493
李沐的论文精读系列笔记
【论文精读】(ResNet)Deep Residual Learning for Image Recognition理论部分
你的深度学习小站
11-19 1497
Deep Residual Learning for Image Recognition 摘要 ​ 对于那些比之前所使用的网络深的多的网络，作者提出了一种残差学习框架来缓和训练这种网络的难度。 ​ 作者明确地将这些层重组为关于层输入的残差学习函数，而不是学习新公式的函数。 ​ 作者提供了广泛的经验性的证据，证明这些残差网络更容易被优化，并且能够从急剧增加的深度中获得精确度的提升。 ​ 作者在ImageNetImageNetImageNet数据集上评估了一个深达152152152层的残差网络——比VGGVGG
Deep Residual Learning for Image Recognition 论文精读
qq_45257495的博客
12-08 693
该论文针对深层神经网络训练困难的问题，提出了一种残差学习框架：将网络层重构为学习输入参考下的残差函数（即FxHx−xFxHx−x），而非直接拟合无参考的原始映射HxH(x)Hx。通过引入恒等捷径连接（identity shortcut connection），使网络在不增加计算复杂度的前提下更易于优化。
ResNet 和 Transformer 的原始论文阅读——Deep Residual Learning for Image Recognition 笔记
2501_94232062的博客
04-06 426
摘要：本文介绍高效阅读论文的三遍法：第一遍速览标题、摘要和结论，查看图表；第二遍通读全文理解整体流程；第三遍精读每句话深入思考。以ResNet论文为例，该方法快速把握了核心创新点——残差学习框架，通过恒等映射解决深度网络训练难题。实验证明ResNet在ImageNet等数据集上表现优异，152层网络实现3.57%错误率。文中还提供了残差块和Bottleneck结构的PyTorch实现代码，展示了从理论到实践的完整学习路径。
ResNet论文精读：翻译+学习笔记+Pytorch代码复现
智算学术的博客
03-13 1890
上一篇文章详细解读了论文GoogLeNet网络结构，现在给大家介绍何凯明大神在2016年发表在CVPR的best paper，<Deep Residual Learning for Image Recognition> 开创了深度残差网络的先河，解决了超深层网络训练问题，研究人员不再需要担心随着层数增加而带来的梯度问题，ResNet在2015年ImageNet的图像分类任务中，获得了第一名，并且在top-5错误率上达到了3.57%，大大超过了其他参赛模型。
《Deep Residual Learning for Image Recognition》论文研读以及torch代码解读
weixin_45703331的博客
10-05 2855
Deep Residual Learning for Image Recognition论文研读以及代码复现
Deep Residual Learning for Image Recognition（译）
热门推荐
小时候贼聪明
02-25 7万+
仅供参考，如有翻译不到位的地方敬请指出。论文地址：Deep Residual Learning for Image Recognition译文地址：http://blog.csdn.net/wspba/article/details/57074389
《Deep Residual Learning for Image Recognition》论文翻译精读
Daybreak's blog
09-07 1133
更深层次的神经网络更难训练。我们提出了一个残差学习框架，以简化对网络的训练，这些网络比以前使用的网络要深入得多。我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未引用函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从显著增加的深度中获得准确性。在ImageNet数据集上，我们评估了深度高达152层的残差网络——比VGG网络深8倍[40]，但仍然具有较低的复杂性。这些残差网络的集合在ImageNet测试集上实现了3.57%的误差。
Deep Residual Learning for Image Recognition
s123l4的博客
12-16 1189
https://arxiv.org/pdf/1512.03385.pdf 摘要： 更深层次的神经网络更难训练。我们提出了一个残差学习框架，以减轻网络的训练，实质上比以前使用的网络更深。我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未引用的函数。我们提供了全面的经验证据，表明这些残差网络更易于优化，并且可以通过大大增加的深度来获得准确性。在ImageNet数据集上，我们评估了深度高达152层的残差网——比VGG网[41]深8倍，但仍然具有较低的复杂性。这些残留网络的整体在ImageNet测试仪上
【论文阅读19】-Res-Net (​​CVPR 2016​​)-Deep Residual Learning for Image Recognition
wangshangshang09的博客
04-15 2838
这篇论文提出了深度残差学习框架，通过引入残差模块解决了深层神经网络训练中的退化问题。其核心创新是将传统的层间映射 $H(x)$ 转化为残差映射 $F(x) = H(x) - x$，通过**跳跃连接（Skip Connection）** 实现恒等映射的短路机制。这种设计让网络能更高效学习微小波动（当最优解接近恒等时），同时梯度可通过残差路径直接反向传播到底层，显著缓解了梯度消失问题。该方法在ImageNet等任务中实现了突破性性能，成为深度学习的基础架构之一。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值