吴恩达深度学习2笔记week2——优化算法 Optimization Algorithms

最新推荐文章于 2024-09-12 15:08:57 发布
原创 最新推荐文章于 2024-09-12 15:08:57 发布 · 363 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
博客围绕深度学习展开，介绍了Mini-batch梯度下降法，包括不同的mini-batch size情况。还阐述了指数加权平均及其偏差修正，以及动量梯度下降法、RMS prop、Adam优化算法等。此外，提及学习率衰减方法和局部最优问题，指出导数为0可能是鞍点。

吴恩达深度学习2笔记week2——优化算法 Optimization Algorithms

2.1 Mini-batch 梯度下降法 Mini-bath gradient descent

在这里插入图片描述

  • 向量化一次性解决1000个样本问题

在这里插入图片描述

2.2 理解 mini-batch 梯度下降法 Understanding mini-batch gradient descent

在这里插入图片描述

  • mini-batch size
    Batch gradient descend：mini-batch size=m
    随机梯度下降：mini-batch size=1
    在这里插入图片描述
    在这里插入图片描述

2.3 指数加权平均 Exponentially weighted averages

在这里插入图片描述

2.4 理解指数加权平均 Understanding exponentially weighted averages

在这里插入图片描述

  • 指数衰减函数 an exponentially decaying function
    在这里插入图片描述
    在这里插入图片描述

2.5 指数加权平均的偏差修正 Bias correction in exponentially weighted average

在这里插入图片描述

2.6 动量梯度下降法 Gradient descent with momentum

在这里插入图片描述
在这里插入图片描述

2.7 RMS prop——root mean square（均方根） prop——消除梯度下降中的摆动

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201228133132548.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NhdWx0eQ==,size_16,color_FFFFFF,t_70

2.8 Adam 优化算法 Adam optimization algorithm

  • 将momentum和RMSprop结合在一起
  • adaptive moment estimation

初始化
计算momentum指数加权平均数
偏差修正
更新权重
在这里插入图片描述

  • 超参数
    在这里插入图片描述

2.9 学习率衰减 Learning rate decay

在这里插入图片描述

  • 学习率下降方法1
    在这里插入图片描述

  • 指数衰减 exponential decay
    在这里插入图片描述

2.10 局部最优的问题 The problem of local optima

  • 导数为0可能是鞍点saddle point，而不是局部最优解
    在这里插入图片描述
    在这里插入图片描述
标签
#深度学习
Saulty
关注
Optimization
baibaidoudou的博客
07-12 286
Reasons forfailure 1.gradient is close to zero，卡在了critical point(驻点） 判断critical point是不是saddle point，求出H Sometimes,sometimes Saddle point is the eigen value of H,is an eigen vector of H 如果卡在了Saddle point，找出为负的时候，所对应的，只要顺着的方向去更新参数，就可以找到更低...
深度学习学习笔记
RicardoOzZ的博客
03-06 1200
为什么使用线性函数+sigmoid激活函数可以拟合所有的函数模型 任何函数都可以用分段函数拟合 每个分段函数又都可以用sigmoid函数近似 这种思考角度，很巧妙。 关于神经网络的参数更新与反向传播 比较容易理解 关于提升模型训练效果 先看损失函数的值： 若大，则提升模型复杂度，或改进模型参数优化方法； 若小，则看测试集损失函数的值，若大，则是overfitting或者是mismatch（训练集分布与预测集不同） 关于局部极小值与鞍点 理解即可，其实一般遇到的并不是这种问题 关于训练时的 小batchsiz
批处理优化技术
最新发布
本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度，也有思维广度，无论你是开发者、创业者还是高校学子，都能在这里找到适合自己的成长之路！
09-12 917
实例化渲染（Instanced Rendering）：实例化渲染是一种优化批处理性能的技术，它允许在一个批次中渲染多个相同模型的实例，而不需要为每个实例单独传输顶点数据。总之，批处理技术在游戏开发中有广泛的应用，可以有效提高渲染性能。总的来说，支持批处理的条件主要包括相同或类似的渲染状态、相同的几何形状、静态或预计算的数据、合适的批次大小、良好的空间局部性、支持批处理的硬件和API以及适用的渲染场景。通过批处理优化，我们可以将具有相同状态的图形对象合并在一起进行渲染，从而减少状态切换的次数，提高渲染效率。
深度学习-网络训练技巧
ymy_ymy22的博客
01-08 1325
自适应梯度剪切 由于链式法则的计算，当网络的层数非常多时，经常出现梯度消失或者梯度爆炸的现象。体现在图像，就是损失函数有一个悬崖式的变化。如果设置的学习率太大，那么可能出现修改过度，甚至丢失已经优化好的数据。而自适应梯度剪切就是根据你的学习率，调整梯度的角度，确保收敛的稳定性。 高学习率 提高收敛速度的最直接方式就是增大学习率，但单纯的增大高学习率会产生收敛问题（收敛不稳定），虽然作者已经用了自适应梯度剪切的方法来增大收敛稳定性。但作者在设置学习率时，也能使用一下技巧来增强收敛稳定性。具体的做法是
论文阅读Targetless Calibration of LiDAR-IMU System Based on Continuous-time Batch Optimization（含代码解读）
qq_38650944的博客
03-31 6045
摘要：传感器标定时多传感器融合中的基础模块。本文剔除一个精确的LIDAR-IMU标定系统，用于标定3D LIDAR和IMU的6自由度外参。考虑到LIDAR和IMU数据频率较高，LI-Calib采用基于B-Spline的连续时间轨迹方程，对比基于离散时间的方法，这种方法更适用于融合高频和非时间同步系统。LI-Calib将空间分解为一个个cells，然后在数据关联中识别平面元素(planar segments)，这就将标定问题构造成了一个约束良好的问题，其在没有人工标志物的环境中也适用。
【吴恩达深度学习】02_week2_quiz Optimization algorithms
无
02-28 940
(1)Which notation would you use to denote the 3rd layer’s activations when the input is the 7th example from the 8th mini-batch [A] a[3]{7}(8)a^{[3]\{7\}(8)}a[3]{7}(8) [B] a[8]{7}(3)a^{[8]\{7\}(3)}a[8]{7}(3) [C] a[8]{3}(7)a^{[8]\{3\}(7)}a[8]{3}(7) [D] a[3]
吴恩达-deep learning 02.改善深层神经网络：优化算法 (Optimization algorithms)Week2
Paul_Huang的专栏
09-15 469
上一周介绍了如何建立一个实用的深度学习神经网络。包括： Train/Dev/Test sets的比例选择，Bias和Variance的概念和区别：Bias对应欠拟合，Variance对应过拟合。 防止过拟合的两种方法：L2 regularization和Dropout；如何进行规范化输入，以加快梯度下降速度和精度。 梯度消失和梯度爆炸的概念和危害，提出使用梯度初始化来降低这种风险。 梯度检查，来验证梯度下降算法是否正确。 本周将继续讨论深度神经网络中的一些优化算法，通过使用这些技巧和方法来提高神经网络的
《吴恩达深度学习》学习笔记006_优化算法 (Optimization algorithms)
qq_40376937的博客
11-25 250
http://www.ai-start.com/dl2017/html/lesson2-week2.html 优化算法 (Optimization algorithms) Mini-batch 梯度下降（Mini-batch gradient descent） 理解mini-batch梯度下降法（Understanding mini-batch gradient descent） 指数加权平均数（Exponentially weighted averages） 理解指数加权平均数（Understan.
C2W2总领思维导图『 吴恩达改善深层神经网络 | 优化算法Optimization algorithms-WEEK2 』
z
02-25 226
吴恩达深度学习专项课程2学习笔记/week2/Optimization Algorithms
weixin_33749131的博客
02-18 134
Optimization algorithms 优化算法以加速训练。 Mini-batch gradient descend Batch gradient descend：每一小步梯度下降否需要计算所有的训练样本。很耗时。 Mini-batch gradient descend：将训练集分为很多小的mini-batch，每一个epoch用到一个mini-batch的训练样本，进行一次梯度下降（向...
吴恩达Coursera深度学习课程 course2-week2 优化方法 作业
currycode
10-24 841
                                               P0 前言 第二门课 : Improving Deep Neural Networks: Hyperparameter turing,Regularization and Optimization (改善深层神经网络：超参数调试、正则化以及优化) 第二周 : Optimization algorith...
李宏毅机器学习笔记第8周_批次与动量
peaunt1的博客
06-05 378
Batch与Momentum
深度学习（二）改善深层神经网络:超参数调试、 正则化以及优化-（超参数调试、Batch正则化和程序框架及课后作业） -Andrew Ng
yangshaojun1992的博客
04-18 2453
一、基础知识 1.1调试处理 关于训练深度最难的事情之一是你要处理的参数的数量，从学习速率???? 到Momentum（动量梯度下降法）的参数????。 如果使用Momentum或Adam优化算法的参数????1，????2和????，也许你还得选择层数，也许你还得选择不同层中隐藏单元的数量，也许你还想使用学习率衰减。 所以，你使用的不是单一的学习率????，当然你可能还需要选择mini-batch的大小。 结果证实一些...
类神经网络
qq_61094172的博客
11-20 822
目录 ​ 一、鞍点 为何要知道到底是卡在local minima,还是卡在saddle point呢 如何判断local minima与saddle point呢？ 1.泰勒展开 2.Hession矩阵 3.史上最废的network 二、saddle point（鞍点） 三、Optimization with Batch 1.Small Batch v.s. Large Batch “Noisy” update is better for tra...
Improving Deep Neural Networks Optimization Methods Homework
生物医学信息学博客
09-22 6069
Optimization MethodsUntil now, you’ve always used Gradient Descent to update the parameters and minimize the cost. In this notebook, you will learn more advanced optimization methods that can speed up
吴恩达深度学习课后习题第三课第二周编程作业: Optimization Methods
weixin_71479720的博客
06-20 1378
吴恩达深度学习课后习题第三课第二周编程作业: Optimization Methods
batch norm为什么会work：How Does Batch Normalizetion Help Optimization
qq_39760867的博客
06-11 553
BN的作用是显而易见的：加速收敛，降低对lr的敏感性。 BN的作者认为，BN层把输入数据，变成了独立同分布的状态，这是BN work的原因。MIT MIT的文章反驳了上述观点：how Does Batch Normalizetion Help Optimization 下面的实验每层都有BN，但是由于添加了噪声，层间分布已经不同了。在这种情况下能收敛，反驳了独立同分布是BN收敛的原因。 ...
Flink（五十六）—— Flink 聚合性能优化 -- MiniBatch 分析
weixin_42073629的博客
10-22 2182
一、MiniBatch的演进思路 1、MiniBatch版本 Flink 1.9.0 SQL(Blink Planner) 性能优化中一项重要的改进就是升级了微批模型，即 MiniBatch(也称作MicroBatch或MiniBatch2.0)，在支持高吞吐场景发挥了重要作用。 MiniBatch与早期的MiniBatch1.0在微批的触发机制略有不同。原理同样是缓存一定的数据后再触发处理，以减少对State的访问，从而提升吞吐和减少数据的输出量 MiniBatch与早期的MiniBatch1.0
吴恩达 Optimization methods 答案
qq_33666011的博客
04-12 781
Optimization MethodsUntil now, you've always used Gradient Descent to update the parameters and minimize the cost. In this notebook, you will learn more advanced optimization methods that can speed up...
花书+吴恩达深度学习（六）优化方法之 Mini-batch（SGD, MBGD, BGD）
今天你学习了吗
12-03 2680
目录 0. 前言 1. Batch gradient descent（BGD） 2. Stochastic gradient descent（SGD） 3. Mini-batch gradient descent（MBGD） 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（五）正则化方法（防止过拟合） 花书+吴恩达深度学习（六）优化方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值