【深度强化学习】PPO算法

接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。

近端策略优化（Proximal Policy Optimization, PPO）是强化学习中的一种高效策略优化算法，由OpenAI于2017年提出。其核心目标是提升训练稳定性和样本效率，尤其适用于复杂环境下的连续控制任务。

PPO算法是一种强化学习中的策略梯度方法，它的全称是Proximal Policy Optimization，即近端策略优化1。PPO算法的目标是在与环境交互采样数据后，使用随机梯度上升优化一个“替代”目标函数，从而改进策略。PPO算法的特点是可以进行多次的小批量更新，而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体：PPO-Penalty和PPO-Clip。

PPO算法之所以被提出，根本原因在于在处理连续动作空间时取值抉择困难。取值过小，就会导致深度强化学习收敛性较差，陷入完不成训练的局面，取值过大则导致新旧策略迭代时数据不一致，造成学习波动较大或局部震荡。除此之外，因为在线学习的性质，进行迭代策略时原先的采样数据无法被重复利用，每次迭代都需要重新采样；同样地置信域策略梯度算法虽然利用重要性采样、共轭梯度法求解提升了样本效率、训练速率等，但在处理函数的二阶近似时会面临计算量过大，以及实现过程复杂、兼容性差等缺陷。而PPO算法具备。

深度强化学习笔记之PPO算法理解（1） 笔记内容来源于李宏毅老师的深度强化学习的PPT。 关于PPO（Proximal Policy Optimization），李老师分为了三个部分进行了介绍。 Policy Gradient：该方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新； On-policy | Off-policy Add constraint：对Policy Gradient进行一些限制，前者就变成了PPO。 1.Policy Gradient 与基于价值的强化

强化学习是一种通过与环境交互来学习最优决策的机器学习范式。在强化学习中，智能体会根据当前状态选择行动,并获得环境的反馈奖励,通过不断调整策略来最大化长期累积奖励。近年来,随着深度学习技术的发展,深度强化学习(Deep Reinforcement Learning, DRL)成为一个备受关注的研究方向。其中,Proximal Policy Optimization (PPO)算法是近年来深度强化学习领域最为流行和高效的算法之一。

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文） 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO) ...

2015年末，机器学习已经成为人类与机器交互的新方式。近几年，随着强化学习在各个领域的广泛应用，深度强化学习也逐渐成为学术界和工业界研究的热点话题。深度强化学习（Deep Reinforcement Learning）是基于机器学习和大数据等技术提出的一种新的机器学习方法。它利用大量的实时反馈信息和高维动作空间，通过学习从原始输入到执行动作的映射关系，从而解决复杂问题，取得比传统机器学习更好的效果。其中最著名的就是由OpenAI开发的强化学习库OpenAI Gym。

在之前的文章里介绍了，提出了两个缺点，其中缺点一，在后续提出的 DRL 算法 PPO 解决了，今天我们就来看看大名鼎鼎的 PPO 算法。

PPO是OpenAI提出的深度强化学习算法，它是策略梯度方法中的一种优化。PPO通过约束策略更新的范围来实现高效的策略优化，避免了策略过度更新引发的性能退化。PPO是基于策略梯度的方法，在Java中实现PPO需要更为复杂的神经网络结构和策略更新逻辑。DQN和PPO是强化学习中非常流行的两种算法，分别适用于不同的任务场景。DQN适合在动作空间有限、训练过程简单的环境中应用，而PPO则擅长处理复杂、连续的动作空间任务。在这个简单的DQN实现中，我们使用了一个二维Q表来存储状态-动作对的Q值。

如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法

深度强化学习 Deep Reinforcement Learning 简称为DRL运行DRL算法代码（实际使用+调整参数），需要更多DL基础阅读DRL算法论文（理解原理+改进算法），需要更多RL基础深度强化学习算法能训练能智能体: 机械臂取物、飞行器避障、控制交通灯、机器人移动、交易股票、训练基站波束成形选择合适的权重超越传统算法。一开始会问：算法那么多，要选哪个？训练环境怎么写？算法怎么调参？收益函数 reward function 要怎么改？

深度强化学习落地方法论算法选择：DQN、DDPG、A3C、PPO、TD3

堆叠物体抓取是机器人操作中的一项复杂任务，涉及对多个堆叠物体的识别、定位和抓取。传统的抓取算法通常依赖于手工设计的规则和特征，难以应对复杂的堆叠场景。基于深度学习（Deep Learning）和近端策略优化（Proximal Policy Optimization, PPO）深度强化学习的抓取算法，能够通过自主学习从环境中提取特征并优化抓取策略，从而在复杂场景中实现高效抓取。本文介绍了基于深度学习+PPO的堆叠物体抓取算法，并提供了MATLAB仿真代码。

强化学习实现包含环境接口、策略网络、价值网络、经验收集和训练循环等模块。环境接口与OpenAI Gym交互，策略网络输出动作概率，价值网络评估状态价值。PPO算法通过截断策略优化更新，计算优势函数和目标值进行模型训练。主循环中代理与环境交互收集经验数据，通过多次迭代优化策略和价值网络。关键步骤包括：1)环境交互获取状态转移；2)计算TD目标和优势函数；3)使用剪裁比率更新策略；4)最小化价值损失。整个流程通过多轮训练逐步提升代理性能。

不同算法的理论比较部分参考CSDN博客 - 专业IT技术发表平台，代码实现在python完成。用的算例是OpenAI官网gym提供的算例环境"CartPole-v1"游戏,代码实现部分在谷歌全家桶(Colab,tensorflow2,wandb)中完成 1.朴素DQN 原论文： [DQN] Playing Atari with Deep Reinforcement Learning [1] Off-policy，Discrete action space，model free，2015 算法： .

returnadv = 0print('状态空间维度：', state_n)print('动作空间维度：', action_n)steps = []if done:breakif done:breakelse:steps = []if done:break。