DQN、DDQN、Dueling DQN、PER DQN

原创 已于 2022-04-30 20:39:36 修改 · 3.2k 阅读 · 6
标签
#算法
于 2022-04-29 13:23:48 首次发布
本文详细解析了DQN算法的改进版DDQN，如何通过双网络结构降低Q值估计偏差；Dueling DQN通过分离价值和动作函数提升训练效率；以及PER策略如何优先采样高质量数据。讲解了这些技术在强化学习实践中的应用和优势。

DQN

在这里插入图片描述

DDQN（Double DQN）

DQN中的q值总是被高估了
在这里插入图片描述
DQN中使用一个神经网络Q，计算每一个action的的Q值，选择Q值最大的action加上rt
DDQN中使用两个神经网络Q、Q’，使用Q计算action的Q值，选择Q值最大的action，使用Q’计算被选择action的Q’值。
在这里插入图片描述

Dueling DQN

相比于DQN只更改了网络的架构
在这里插入图片描述
DQN中的Q是直接输出一个Q值
Queling DQN是将输出分为价值函数和动作函数，价值函数输出一个实数，表示对当前局势的价值量，动作函数输出每个动作的价值。
这样的更改后，更新更有效率
在这里插入图片描述
加layer normalization

最低0.47元/天 解锁文章
（7-1）DDQN（双重深度 Q 网络）：DDQN对DDQN的改进
码农三叔
02-20 3770
在本书前面6哥专题的内容中曾经讲解过DDQN（双重深度 Q 网络，Double Deep Q-Network）算法的基础知识，这是一种强化学习算法，用于解决基于值函数的强化学习问题，特别是在深度强化学习（Deep Reinforcement Learning，DRL）中。在本章的内容中，将进一步详细讲解DDQN的知识，介绍其核心知识和用法，为读者步入后面知识的学习打下基础。
深度强化学习系列(8): Prioritized Experience Replay(PER-DQN)原理及实现
深度强化学习(DeepRL)探索博客
12-23 2万+
论文地址： https://arxiv.org/abs/1511.05952 本论文是由DeepMind操刀，Schaul主导完成的文章，发表于顶会ICLR2016上，主要解决经验回放中的”采样问题“（在DQN算法中使用了经典的”experience replay“，但存在一个问题是其采用均匀采样和批次更新，导致特别少但价值特别高的经验没有被高效的利用）。 还是往常的学习顺序，先摘要和结论 ...
[RL]优先经验回放(PER-DQN)原理及代码实现
qq_61897765的博客
03-15 1万+
DQN变体
深度强化学习-Double DQN算法原理与代码
热门推荐
weixin_46133643的博客
12-11 4万+
Double Deep Q-learning(DDQN)是对DQN算法的改进，有效提升了算法的性能，本文就带领大家了解一下这个算法，Double Q-learning算法的论文链接见下方。 论文：https://ojs.aaai.org/index.php/AAAI/article/view/10295 代码：后续会将代码上传到Github上... 1 DDQN算法简介 ...
【强化学习】DQN、Double DQN、Dueling DQN、Per DQN、NoisyDQN 学习笔记
HYY的博客
01-17 2695
Dueling DQN修改的是网络结构，算法中在输出层之前分流（ dueling ）出了两个层，如图所示，一个是优势层，用于估计每个动作带来的优势，输出维度为动作数一个是价值层，用于估计每个状态的价值，输出维度为 1。在传统的DQN中，选择和评估动作的Q值使用相同的网络，这可能导致在某些状态下对某些动作的Q值被高估，从而影响学习的稳定性和最终策略的质量。经验回放：通过存储代理的经验（状态，动作，奖励，新状态）在回放缓存中，并在训练时从中随机抽样，这样做可以打破数据间的时间相关性，提高学习的稳定性和效率。
PyTorch实战：三大优化策略提升DQN性能（DDQN、PER与Dueling DQN）
weixin_29051811的博客
02-15 473
本文通过PyTorch实战，详细解析了提升DQN性能的三大核心优化策略：DDQN、优先经验回放（PER）与Dueling DQN。DDQN通过双网络机制解决Q值过估计问题；PER利用SumTree数据结构实现重要性采样，加速收敛；Dueling DQN则改进网络架构，分离状态价值与动作优势。文章结合代码与在不同环境（如CartPole、MountainCar）中的对比实验，为深度强化学习实践者提供了有效的性能调优指南。
PyTorch实战：DQN三大改进算法（DDQN、PER、Dueling DQN）深度解析
milk8的博客
03-07 465
本文深度解析了DQN的三大改进算法：DDQN、PER和Dueling DQN。针对原始DQN存在的Q值高估、样本效率低和网络表征能力有限等问题，分别介绍了Double DQN如何解耦动作选择与评估以减轻高估，优先经验回放(PER)如何通过SumTree数据结构高效利用关键经验，以及Dueling DQN如何通过分离状态价值和动作优势提升网络性能。文章结合PyTorch实战代码，提供了清晰的实现思路和组合使用建议，帮助读者构建更稳定、高效的深度强化学习模型。
PyTorch实战：DQN三大优化技术（DDQN、PER、Dueling）深度解析与对比实验
weixin_29096377的博客
02-16 426
本文深度解析了DQN的三大核心优化技术：Double DQN (DDQN)、优先经验回放 (PER) 和 Dueling DQN。通过PyTorch实战代码，详细展示了每种技术的原理与实现，并在CartPole和MountainCar环境中进行对比实验，验证了它们在解决Q值过估计、提升样本效率和学习稳定性方面的显著效果。
PyTorch实战：DQN三大优化策略（DDQN、PER、Dueling DQN）深度解析
最新发布
03-12 398
本文深度解析了DQN（深度Q网络）的三大核心优化策略：DDQN、PER和Dueling DQN。通过PyTorch实战代码，详细阐述了DDQN如何解决Q值过度估计问题，PER如何通过优先级采样提升学习效率，以及Dueling DQN如何通过分离价值与优势流优化网络结构。这些策略能显著提升强化学习模型的稳定性和收敛速度，适用于游戏AI、机器人控制等复杂场景。
（pytorch复现）基于深度强化学习（CNN+dueling network/DQN/DDQN/D3QN/PER）的自适应车间调度(JSP)
太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群！
12-27 8455
为了深入学习各种深度学习网络和强化学习的结合，实现了一下下列文章： Research on Adaptive Job Shop Scheduling Problems Based on Dueling Double DQN | IEEE Journals & Magazine | IEEE Xplore 状态、动作、奖励函数及实验的简单介绍可参考： 基于深度强化学习的自适应作业车间调度问题研究_松间沙路的博客-CSDN博客_强化学习调度 整体代码复现可见个人Github:Aihong-Sun
图解DQN，DDQN，DDPG网络
Echooo的博客
04-03 1万+
图解DQN，DDQN，DDPG网络1. DQN1.1 网络结构1.2 产生experience的过程1.3 Q网络的更新流程2. DDQN2.1 网络结构2.2 产生experience的过程2.3 Q网络的更新流程3. DDPG3.1 网络结构3.2 产生experience的过程3.3 Actor网络的更新流程3.4 Critic网络的更新流程 1. DQN 深度Q网络(Deep Q Network)适用于动作离散的强化学习任务 1.1 网络结构 深度Q网络有两个网络结构，如下所示： Q网络输入是状态
【蘑菇书】PER_DQN
wq6qeg88的博客
08-02 485
DQN 经验回放的算法中的均匀采样算法，可能会忘记一些重要的、以后使用的经验数据。针对这样的问题，PER_DQN 提出了优先级经验回放（prioritized experience reolay）的技术来解决，这种方法应用到 DQN 获得了更好的效果。PER_DQN 成功的原因有：1. 提出了sum tree这样复杂度为O(logn)的高效数据结构。2. 正确估计了 weighted importance sampling.这里的 PER_DQN 的模型和 DQN 中类似，也是用的三层的MLP。
强化学习DQN（Deep Q-Learning）、DDQN（Double DQN）
weixin_51602120的博客
02-01 3686
强化学习Deep Q-Learning（DQN） 、Double DQN
强化学习DQN、DDQN和Dueling DQN的原理介绍与PARL核心代码解析
秋水中的鱼的博客
07-23 4万+
摘要 本文主要介绍DQN算法的基本原理，以及在它基础上改进的DDQN和Dueling DQN，介绍完后会结合对应的PARL代码进行解析说明（PARL 是一个高性能、灵活的强化学习框架）。 三篇相关的论文地址如下，接下去的三个小节会围绕这三篇论文的重点部分进行剖析。 DQN：Human-level Control Through Deep Reinforcement Learning DDQN：Deep Reinforcement Learning with Double Q-learning Dueling
强化学习中的Double DQN、Dueling DQN和PER DQN算法详解及实战
TheJustice_的博客
07-07 2235
Double DQN、Dueling DQN和优先经验回放DQN（PER DQN）都是对原始DQN的改进，各有其优点和适用场景。Double DQN通过减少过高估计提高了算法的稳定性；Dueling DQN通过分离状态价值和优势函数更好地评估状态；PER DQN通过优先采样重要经验加速了学习过程。这些改进算法在不同的应用场景下，可以选择合适的算法来提升强化学习的效果。
DQL: Dueling Double DQN, Prioritized Experience Replay, and fixed Q-targets（三下）
mike112223的博客
06-17 2979
https://www.freecodecamp.org/news/improvements-in-deep-q-learning-dueling-double-dqn-prioritized-experience-replay-and-fixed-58b130cc5682/ DQL是2014年提出的。自那以后提出了很多改进。所以，今天我们来看看四种极大提升DQN agents的训练和结果： f...
PyTorch实战：手把手教你实现DQN三大改进算法（DDQN/PER/Dueling）
grafana8visual的博客
03-09 420
本文通过PyTorch实战，详细解析并代码实现了DQN的三大经典改进算法：DDQN、优先经验回放（PER）和Dueling DQN。文章对比了各算法在CartPole和MountainCar环境中的性能差异，提供了组合使用的完整方案与调参技巧，旨在帮助读者深入理解强化学习算法原理并掌握其工程实现。
深度强化学习调参指南：如何为DQN选择最佳改进组合（附PyTorch示例）
weixin_29093169的博客
03-07 196
本文深入探讨了深度强化学习中DQN算法的三大核心改进——DDQN、PER和Dueling DQN，通过对比实验分析了它们各自解决的价值高估、样本效率和网络表达问题。文章提供了基于任务特性的决策框架和详细的PyTorch实现示例，帮助开发者根据环境特性（如稀疏奖励）和计算资源，高效选择并组合这些改进，以优化智能体性能。
从DQN到Rainbow：awesome-deep-rl中的价值基算法进化之路
gitblog_00021的博客
02-18 936
在深度强化学习（Deep Reinforcement Learning, DRL）领域，价值基算法始终是研究的核心方向。awesome-deep-rl项目作为深度学习与强化学习结合的重要资源库，系统收录了从经典DQN到 Rainbow 等一系列突破性算法，为开发者和研究者提供了完整的技术演进路线图。本文将带你探索这些算法如何一步步克服挑战，最终实现从基础到前沿的跨越。 ## 价值基算法的奠基：D
深入理解DDQN
weixin_46246346的博客
09-03 2077
通过Alex的探索故事和技术解释，我们可以看到DDQN如何巧妙地解决了DQN中的过估计问题。DDQN的核心思想是通过使用两个网络来解耦动作的选择和评估，从而得到更准确的Q值估计。在实践中，实现DDQN需要注意网络结构、经验回放、目标计算和网络更新等关键点。通过这些技术，DDQN能够在多个强化学习任务中取得比DQN更好的性能。理解DDQN不仅有助于掌握这个特定的算法，还能帮助我们更深入地思考如何改进强化学习算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值