深度强化学习2：Proximal Policy Optimization算法(PPO)

最新推荐文章于 2025-06-04 21:18:51 发布
原创 最新推荐文章于 2025-06-04 21:18:51 发布 · 1.3k 阅读 · 1
本文主要讲解了深度强化学习中的Proximal Policy Optimization（PPO）算法，首先介绍了On-policy和Off-policy的基本概念及其优缺点，然后详细阐述了Importance Sampling及其存在的问题。接着，文章对比了TRPO和PPO的区别，并详细解释了PPO算法的核心思想，包括约束项的设计以及如何防止策略更新的步幅过大。最后，文中提到了PPO算法的实验效果和应用价值。

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)

2020-01-15 15:00:01 6525 收藏 12
分类专栏： # 理论知识 强化学习 
            </div>
            </div>
                            <div class="up-time"><span>最后发布:2020-01-15 15:00:01</span><span>首发:2020-01-15 15:00:01</span></div>
            <div class="slide-content-box">
            <div class="all-tags-box">
                                </div>
                                                                <div class="article-copyright">
                        <div class="creativecommons">
                            <a rel="license" href="http://creativecommons.org/licenses/by-sa/4.0/"></a>
                        </div>
                        <div class="creativecommons">
                            版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。                            </div>
                        <div class="article-source-link">
                            本文链接：<a href="https://blog.csdn.net/ACL_lihan/article/details/103989581">https://blog.csdn.net/ACL_lihan/article/details/103989581</a>
                        </div>
                    </div>
                                                                            </div>
            <div class="operating">
                                                            <a class="href-article-edit slide-toggle">版权</a>
                                </div>
        </div>
    </div>
</div>
<!--python安装手册结束-->
                <article class="baidu_pl">
             <div id="article_content" class="article_content clearfix">
        <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-211130ba7a.css">
                        <div class="htmledit_views" id="content_views">
                                        <p><a href="https://blog.csdn.net/ACL_lihan/article/details/104020259">【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）</a></p>

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文）

【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法

【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)

最低0.47元/天 解锁文章
近端策略优化（proximal policy optimization）算法简述
星海浮生
02-26 8768
本文通过整理李宏毅老师的机器学习教程的内容，简要介绍深度强化学习（deep reinforcement learning）中的近端策略优化算法（proximal policy optimization）。
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
weixin_41106546的博客
04-04 9万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
PPO(Proximal Policy Optimization)算法介绍
2301_79093491的博客
11-06 2579
PPO通过引入剪辑损失函数，有效地限制了策略更新的幅度，兼顾了学习效率和更新稳定性。在RLHF中，PPO作为微调预训练语言模型的关键算法，发挥了重要作用，使得模型能够从人类反馈中高效学习，生成更符合人类期望的内容。
【深度学习】强化学习（RL）-PPO（Proximal Policy Optimization，近端策略优化）
IT古董
02-25 4213
PPO（Proximal Policy Optimization，近端策略优化）是 OpenAI 在 2017 年提出的强化学习算法，它在策略梯度方法的基础上改进，具有更稳定的优化过程，广泛应用于机器人控制、自动驾驶、游戏 AI 等任务。PPO 通过 策略截断 (Clipping) 使策略更新更加稳定，并结合 GAE 提高样本利用率，是强化学习中最流行的算法之一。
Proximal Policy Optimization (PPO)
u013250861的博客
12-21 1886
基于参数化策略的思想，我们的目标就是找到那些可能获得更多奖励的动作，使它们对应的概率更大，从而策略就更有可能选择这些动作。为此，我们定义的最大化目标函数JθJ(\theta)Jθmax⁡θJθmax⁡θEτ∼πθRτmax⁡θ∑τPτ;θRτ其中τ\tauτ是agent与环境交互产生的状态-动作轨迹τs1a。
【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)
ACL_lihan的博客
01-15 1万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文） 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...
【李宏毅深度强化学习笔记】—2、Proximal Policy Optimization算法(PPO)
qq_43703185的博客
06-30 857
原文链接：https://blog.csdn.net/ACL_lihan/article/details/103989581补充： 问题：PPO2的损失函数，也就是奖励的平均值函数是怎么通过约束重要性权重让θ和θk的输出分布不至于差距很大的？也就是 让其不至于差太多，导致off-policy失效 理解： 当A>0时候，根据损失函数（奖励函数平均值），此时会提高pθ（s,a）的概率，所以设置上限，不让pθ（s,a）超过pθk（s,a）太多（1+ξ），如果超过了，则会被截断到1+ξ，则损失函数的值不变了，也就没
李宏毅深度强化学习笔记（二）Proximal Policy Optimization
我的博客
07-13 579
李宏毅深度强化学习笔记（二）Proximal Policy Optimization 参考jessie_weiqing博客：https://blog.csdn.net/cindy_1102/article/details/87905272 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 Proximal Policy Optimiza...
RL2_policy_gradients_mainly
MrTeq的专栏
01-14 269
https://flyyufelix.github.io/2017/10/12/dqn-vs-pg.html   ***Deep Q Network vs Policy Gradients - An Experiment on VizDoom with Keras http://karpathy.github.io/2016/05/31/rl/     ***Deep Reinforcement...
【笔记2-2】李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
cindy_1102的博客
02-24 3万+
李宏毅强化学习- Proximal Policy OptimizationPolicy GradientTerms and basic ideasPolicy Gradient:From on-policy to off-policy ——Using the experience more than onceTerms and basic ideasPPO algorithm: Policy Gr...
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）
ACL_lihan的博客
01-17 2万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）（本文） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于...
深度强化学习笔记之PPO算法理解（1）
Azahaxia的博客
05-27 9180
深度强化学习笔记之PPO算法理解（1） 笔记内容来源于李宏毅老师的深度强化学习的PPT。 关于PPO（Proximal Policy Optimization），李老师分为了三个部分进行了介绍。 Policy Gradient：该方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新； On-policy | Off-policy Add constraint：对Policy Gradient进行一些限制，前者就变成了PPO。 1.Policy Gradient 与基于价值的强化
【强化学习】PPO(Proximal Policy Optimization)近端策略优化算法
热门推荐
shura的技术空间
01-11 10万+
morvan zhou教学视频https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-4-DPPO/ Hung-yi Lee课程http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html PPO论文https://arxiv.org/abs...
Policy Gradient (PG)与Proximal Policy Optimization (PPO)算法详解
CCCDeric的博客
06-21 2206
Policy Gradient (PG)与Proximal Policy Optimization (PPO)算法详解
PPO算法（Proximal Policy Optimization）
Rhett_Butler0922的博客
04-25 1047
PPO 是一种强大且稳定的强化学习算法，结合了策略梯度方法和信任区域优化的优点。其核心在于裁剪目标函数，通过限制策略更新幅度实现稳定训练。PPO 的成功源于其简单性、通用性和高效性，使其成为许多复杂任务的首选算法。
3.深度强化学习------PPO(Proximal Policy Optimization)算法资料+原理整理
木易进
03-14 1万+
文章地址： PPO: Proximal Policy Optimization Algorithms 一. PPO资料 PPO原理讲解BLOG①：这篇blog详细讲了PPO算法的产生过程及原理，包含部分理论推导，看完这篇blog基本就理解PPO了。 PPO原理讲解BLOG②：可参考，其中包含部分tensorflow实现代码。 二. PPO原理简述 2.1 背景 PPO是基于基本的Policy Gradient进行改进的算法，关于PG的更新过程这里不详细描述了，可以根据上述BLOG①或其他资料或下面的图片推导
[深度强化学习] [2] Trust Region Policy Optimization & Proximal Policy Optimization
GrandpaDZB的博客
01-21 1080
文章目录1 Vanilla Policy Gradient的缺陷与新的优化目标2 MM优化(Minorize-Maximization)与下界函数3 求解优化4 代码部分4.1 处理网络参数4.2 实用算法4.3 TRPO算法部分 1 Vanilla Policy Gradient的缺陷与新的优化目标 VPG优化策略的方法就是通过Policy Gradient进行梯度上升。梯度上升是对函数点的一阶近似，根据步长更新，一阶近似也就是超平面拟合局部，步长稍微大一点误差还是挺大的，容易优化出错。 强化学习对策略优
【李宏毅机器学习课程笔记】深度强化学习（二）——PPO（Proximal Policy Optimization）
weixin_42770354的博客
11-13 1468
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Proximal Policy Optimization Algorithm (PPO)
a1424262219的博客
07-17 775
Proximal Policy Optimization Algorithms Updated on2019-09-1416:15:59 Paper:https://arxiv.org/pdf/1707.06347.pdf TensorFlow Code from OpenAI:https://github.com/openai/baselines PyTo...
近端策略优化（PPO，Proximal Policy Optimization）
最新发布
不断积累不断学习
06-04 1977
PPO (Proximal Policy Optimization) 是一种通过约束每次策略更新的幅度（主要是 PPO-Clip 版本使用裁剪策略比率的方法，PPO-Penalty 使用KL散度惩罚）来显著提升策略梯度算法训练稳定性和采样效率的里程碑式工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值