Lion优化器试验笔记

原创 已于 2023-07-31 05:48:54 修改 · 814 阅读 · 1
标签
#计算机视觉
于 2023-07-31 05:45:15 首次发布
Lion优化器比AdamW和Adafactor更简单、内存高效，运行速度更快。它只需保存动量，降低内存占用，尤其适合大规模模型训练。在实验中，Lion的运行速度通常提高2-15%，并简化超参数设置。在人脸关键点和YOLOv8训练中，Lion展现出优于AdamW的性能，但数据量增大时需要注意学习率和衰减策略。

目录

1 简单、内存高效、运行速度更快

超参设置

官方 pytorch代码：

自己的试验结果：

以下内置转自： Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好 - 知乎

1 简单、内存高效、运行速度更快

与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。

另一个显而易见的好处是，由于 Lion 的简单性，Lion 在我们的实验中具有更快的运行时间（step/s），通常比 AdamW 和 Adafactor 提速 2-15%，具体取决于任务、代码库和硬件。

超参设置

  • Lion 很简单，与 AdamW 和 Adafactor 相比，超参
了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv8 引入谷歌 Lion 优化器：提速、优化、卓越！
一直在水些技术小文
11-09 1427
Lion 优化器是谷歌公司最近提出的一种优化算法，它旨在提高深度学习模型的训练效率和性能。Lion 优化器基于均方误差和一种新型的梯度方向方法，能够更好地处理复杂的损失函数和训练数据，从而提高模型的泛化能力。
创新技术横空出世：探秘Yolov8/Yolov5引入的优化器Lion，内存更小、效率更高，秒杀Adam(W)
一直在水些技术小文
11-10 851
Lion是谷歌公司最新推出的一款优化器，它在梯度下降算法的基础上进行了巧妙的改进，旨在解决传统优化器在内存占用和计算效率方面的痛点。相比于传统优化器，Lion注重在大规模深度学习任务中的性能表现。Yolov8和Yolov5是目标检测领域最为知名的算法之一，以其高效的目标检测能力而受到广泛关注。近期，为了进一步提升模型性能，Yolov8和Yolov5纷纷引入Lion优化器，以期在内存占用和计算效率方面实现质的飞跃。
革命性优化器lion-pytorch：Google Brain遗传算法发现的Adam替代方案
gitblog_01077的博客
04-25 892
lion-pytorch是由Google Brain团队通过遗传算法发现的新一代优化器，被认为是Adam（AdamW）的潜在替代方案。作为EvoLved Sign Momentum（进化符号动量）优化器，它在多个深度学习任务中展现出比传统优化器更快的收敛速度和更优的性能表现，为AI模型训练带来了革命性的突破。 ## 🦁 Lion优化器的核心优势 Lion优化器通过简化的设计实现了高效的参数更
Pointnet++改进优化器系列：全网首发Lion优化器 |即插即用，实现有效涨点
AIcurator的博客
02-01 756
提出了一种将算法发现表述为程序搜索的方法，并将其应用于深度神经网络训练优化算法的发现。我们利用高效的搜索技术来探索无限和稀疏的程序空间。为了弥合代理任务和目标任务之间的巨大泛化差距，我们还引入了程序选择和简化策略。我们的方法发现了一个简单有效的优化算法，Lion(进化符号动量)。它比Adam更节省内存，因为它只跟踪动量。与自适应优化器不同，它的更新对于通过符号操作计算的每个参数具有相同的幅度。我们将Lion与广泛使用的优化器(如Adam和Adafactor)进行比较，以在不同任务上训练各种模型。
机器学习笔记：优化器Lion（EvoLved Sign Momentum）
qq_40206371的博客
02-20 2773
2023 Google&UCLA 参考内容：Google新搜出的优化器Lion：效率与效果兼得的“训练狮”
涨点神器！超越Adam！谷歌提出Lion炼丹优化器，内存更小、效率更高！
阿木寺的博客
02-21 5766
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：机器之心 |编辑：杜伟、陈萍谷歌的 Lion 优化器将成为训练大模型或大批量的「福音」。优化器即优化算法，在神经网络训练中起着关键作用。近年来，研究者引入了大量的手工优化器，其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流，尤其在...
谷歌推出新优化器Lion：优化算法的符号发现
u012744245的博客
02-20 2448
来自谷歌、 UCLA 的研究者提出了一种通过程序搜索发现深度神经网络训练的优化算法，来自论文《Symbolic Discovery of Optimization Algorithms》。通过数千TPU小时的算力搜索并结合人工干预，得到一个更省显存且速度更快的优化器 Lion（EvoLved Sign Momentum），其在图像分类、图文匹配、扩散模型、语言模型预训练和微调等诸多任务上做了充分的实验，多数任务都显示 Lion 比目前主流的 AdamW 等优化器有着更好的效果。
优化器的发展：从梯度下降➔大模型优化器【SGD➔AdaGrad➔RMSProp➔Adam（自适应）➔AdamW➔LAMB➔AdaFactor➔Shampoo➔Lion】
u013250861的博客
10-17 985
从最基础的梯度下降到复杂的大模型优化器，我们走过了机器学习优化算法的发展历程。**梯度下降（SGD）**奠定了基石，但存在学习率和收敛稳定性难题。Momentum动量法赋予优化以惯性，大大改善了在狭窄峡谷区域的震荡问题和收敛速度。Nesterov加速梯度则让动量更聪明，增加了预判能力，从而进一步提升了优化效率和稳健性。AdaGrad开创了自适应学习率，通过累积梯度历史自动调整步长，对稀疏数据效果突出。RMSProp。
YOLO26 优化器选择：SGD、Adam、AdamW在YOLO26中的表现
最新发布
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
06-21 7
该摘要总结了优化器在YOLO26目标检测模型训练中的核心作用与工作原理： 优化器本质：作为参数更新的"导航员"，通过梯度信息在损失函数曲面上寻找最优解，解决速度、稳定性和泛化性的平衡问题。 几何特性分析： 深度网络的损失曲面具有狭长谷底、鞍点、平坦区域和陡峭悬崖等复杂特征 Hessian矩阵条件数反映曲面各向异性程度，影响优化难度 YOLO26的特殊挑战： 多任务损失函数（定位/分类/分布）导致梯度尺度差异大 预训练骨干网络与检测头的参数特性不同 需要与学习率调度策略协同工作 实践意义：优化器选择需结合具体
Lion优化器与Yolov8
牛肉胡辣汤
11-22 1028
Lion优化器是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。这使得模型能够更快地收敛，并且不易陷入局部最优点。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。这样可以增加参数更新的稳定性，避免陷入震荡或振荡状态。参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。
【深度学习】Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好
fengdu78的博客
02-26 2296
Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好论文地址：https://arxiv.org/abs/2302.06675代码地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py1简单、内存高效、运行速度更快与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只...
探索创新：Lion - Pytorch，优化器的新星！
gitblog_00086的博客
05-12 744
在人工智能领域，优化器是训练模型的关键环节，其性能直接影响到模型的收敛速度和最终效果。近年来，Adam因其稳定性和高效性而备受青睐。然而，谷歌脑团队最近发布的狮身人面像（Lion）可能正在改变这一格局。今天，我们来一起探索这个由Pytorch实现的Lion优化器，并了解它的独特优势。 ## 项目介绍 狮身人...
Lion : 超越 AdamW 的优化算法
ZILLIZ
03-23 1469
优化算法，即优化器，在训练神经网络中起着基础作用。近年来引入了大量手工优化器，其中大部分是自适应优化器。然而，具有解耦权重衰减的 Adam，也称为 AdamW，和具有因数二次矩的 Adafactor，仍然是训练大多数深度神经网络的事实上的标准优化器，尤其是最近最先进的语言、视觉和多模态模型。另一个方向是自动发现这样的优化算法。学习优化 (L2O) 方法建议通过训练参数化模型（例如神经网络）来发现优化器以输出更新。
RTDETR更换优化器——Lion
锁我喉是吧
06-27 1124
参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。这有助于避免某些参数过于稀疏或过于密集的问题，提高模型的泛化能力。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。将上述代码复制粘贴在ultralytics/engine下创建lion_pytorch.py文件。
大模型训练与微调（1）——优化器选择总结
m0_55996694的博客
02-28 2135
当前最新的大模型在优化器的选择上，主要结合了传统优化器的稳定性与新型优化器的效率优势。以下分为五个部分来介绍：一、AdamW优化器：成熟稳定的主流选择。二、Lion优化器：谷歌提出的高效替代方案。三、其他优化器的补充应用。四、优化器选择趋势与实验对比。五、未来发展方向。
涨点技巧： 谷歌强势推出优化器Lion，引入到Yolov5/Yolov7,内存更小、效率更高，秒杀Adam(W)
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
04-18 1991
Google 新提出的优化器 Lion引入到yolov5/yolov7，它通过大量算力搜索并结合人工干预得出，相比主流的 AdamW，有着速度更快且更省内存的特点，并且大量实验结果显示，它在多数任务上都有着不逊色于甚至优于 AdamW 的表现。
pytorch中使用Lion优化器
qq_45152711的博客
08-03 1654
🦁Lion，谷歌大脑在 Pytorch 中使用遗传算法发现的新优化器，据称比 Adam(w) 更好。
【亲测免费】 探索高效深度学习优化器：Lion-vs-Adam
gitblog_00046的博客
04-23 760
探索高效深度学习优化器：Lion-vs-Adam 项目简介 在深度学习领域，优化算法是训练模型的关键步骤，它决定了模型的收敛速度和性能。 是一个开源项目，由开发者nengwp创建，旨在对比和研究两种新型优化算法——Lion（狮优化器）与经典的Adam优化器。通过这个项目，你可以深入了解这两种优化器的工作原理，并进行实际应用比较。 技术分析 Lion优化器 Lion，全称为“Least-square...
大模型训练与微调（2）——两种主流优化器的对比分析 AdamW vs Lion
m0_55996694的博客
02-28 1810
本文介绍了当前大模型主流的两种优化器 AdamW、Lion的核心原理、优势对比及适用场景分析，结合最新研究进展和实验数据
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值