ADP论文学习-最优跟踪控制问题

对未知离散时间系统，提出新的基于Qlearning算法求解无限时域线性二次跟踪器LQT问题。线性指令生成器以产生参考轨迹，由指令生成器和原系统组成增广系统。值函数是增广系统（状态和参考轨迹）的二次型函数。给出求解LQT的贝尔曼方程和增广的代数Riccati方程。而本文只需要求解增广的ARE方程。Qlearning算法以在线求解增广ARE（未知系统动力学或指令生成器、不需要增广系统动力学），传统的LQT求解有前馈输入（求解非因果差分方程）和反馈输入（求解ARE）。

当误差和σ都很小时，系统实际上“失去了”激励，更新律便容易受到数值噪声或外界扰动（例如代码中添加的d_v、d_w）的影响，从而引起权值的漂移或振荡。是因为在仿真初期（比如前60秒），跟踪误差较大，激活函数的输入（σ）比较充分，从而使得权值更新中获得足够的“信息”或“激励”，进而使得权值能够逐步调整并收敛到一个合适的值。因此，虽然在60秒时系统的状态使得权值更新趋于收敛，但在延长至100秒后，由于缺乏持续的激励（信息量不足）以及微小扰动和数值噪声的影响，更新律便开始出现振荡或漂移，表现为后期权值“不收敛”。

Model-Free Q-Learning for the Tracking Problem of Linear Discrete-Time Systems，2024， Chun Li , Jinliang Ding , Senior Member, IEEE, Frank L. Lewis , Life Fellow, IEEE, and Tianyou Chai , Life Fellow, IEEE

基于Matlab+Simulink联合仿真模型强化学习的多机器人系统队形跟踪控制-ADP自适应动态规划 简介:该代码模型涉及一种基于自适应动态规划ADP的鲁棒且最优控制框架，用于解决轮式移动机器人WMRs在多智能体编队控制中面临的外部干扰、系统不确定性和车轮打滑问题。该框架采用单神经网络进行成本函数近似，显著降低了计算复杂度，并结合干扰观测器和补偿控制器，有效抵消外部干扰的影响。代码模型还比较了单积分器和双积分器动力学的控制性能，通过Lyapunov理论证明了系统稳定性和神经网络权重的收敛性。仿真结果验证

本文研究了一类离散时间系统的有限时域最优跟踪控制与未知非线性系统的最优控制问题。针对有限时域跟踪问题，提出基于迭代自适应动态规划（ADP）的算法，通过将跟踪问题转化为调节问题，实现状态误差的最优控制，并证明了算法的收敛性。对于未知非线性系统，结合神经网络与迭代GDHP算法，实现系统识别与最优控制策略设计，有效克服模型不确定性与维数灾难。通过仿真与实际案例（如飞行器姿态控制）验证了算法在跟踪精度、控制成本和收敛速度方面的优越性。研究表明，所提方法在机器人、工业自动化和航空航天等领域具有广泛应用前景。

ADP多智能体体一致性控制 完整代码，包运行；可提供运行操作视频！适合小白！

11.35 线性系统最优跟踪控制 由于在现实中具有很广泛的应用价值，最优跟踪问题一直是控制界学者研究热点之一[14-16] 。最优跟踪控制的任务就是设计一个最优跟踪控制器，使得系统的输出以一种最优的方式跟踪上一个参考轨迹[1] 。根据文献 [1] 可知，对于连续时间线性系统而言，最优跟踪控制器由一个线性反馈项和一个前馈项构成。线性反馈项是与一个代数 Ri...

强化学习关注随机过程中的序贯决策问题，而自适应动态规划关注动态系统的控制问题。吸引域：系统渐近稳定的区域。

对离散非线性系统的最优跟踪问题，提出新的值函数形式，以通过ADP算法消除跟踪误差。为避免求解参考控制输入，将控制输入引入控制跟踪误差中，忽略控制输入的二次型，使得。值函数的收敛性和有界性与折扣因子无关。基于提出的值迭代方法，在不考虑参考控制输入情况下推导出最优控制策略。根据VI和PI算法证明所得到控制策略的最优性，并推出迭代值函数的收敛性和单调性。采用神经网络和动作评价网络验证ADP算法有效性。根据往年的文献，跟踪问题可转化为调节问题，但不易求解参考控制输入。

原作者：PATANJALIKUMAR SHASHANKKUMAR JOSHI 摘要 指导教授： Frank L. Lewis 本论文致力于提供将神经科学、 心理学和心理学联系起来的基础工作。 在德州大学阿灵 顿分校研究院（ 乌塔里路） 取得巨大成果的， 关于满意度自治系统的控制理论的研究也作为 了本文的一部分。 写本文献综述的目的是提供给神经认知和控制研究所需的信息和参考。

HDP

在线自适应动态规划之持续激励条件 在在线自适应动态规划算法中，需要通过满足持续激励条件（Persistent Excitation Condition）保证critic网络权值的收敛性，一般的做法都是在算法初期在输入端引入探测噪声（Probing Noises）来保证数据的丰富性，但是由于在输入端引入噪声会给系统带来一些不好的影响，甚至可能破坏系统的稳定性。因此，出现了一些其他的方法来避免引入探测噪声，受阅读所限，我目前了解两种： Concurrent Learning（CL） Experience Re

原系统状态和指令生成器的值函数形式是二次型的。LQT贝尔曼方程和LQT的ARE方程，以求解LQT方程。采用积分RL算法在系统漂移动力学或者指令生成器未知的情况下在线求解LQT的ARE方程解，并给出收敛性分析。传统LQT解最优控制由两部分：求解ARE得到反馈项，求解微分方程或利用系统动力学先验计算期望控制输入。反馈项稳定跟踪误差动力学，前馈项保证跟踪轨迹。传统离线方法，需要时间上向后计算和完整系统动力学。在以往文章中采用动力学可逆概念以求得前馈控制输入，RL以求解最优反馈控制输入。

这段时间会做个深度强化学习的专题，包括理论、文献和实践三大部分。

本文系统阐述了从博弈论到系统动力学的学习路径，聚焦土地流转问题。博弈论用于分析农户、经营主体等微观主体的策略选择，而系统动力学则研究这些选择累积形成的宏观系统演化。文章详细解析了系统动力学的三大核心概念：系统（多要素相互联系的整体）、反馈（变量间的循环影响）和动态演化（随时间变化的过程），并以土地流转为例，具体分析了规模收益（正反馈）与租金成本（负反馈）等机制如何共同决定系统的长期发展趋势（持续增长、停滞或波动）。系统动力学通过揭示要素间的反馈结构，为理解土地管理等复杂社会问题提供了有力工具。

本文提出了一种分解式视觉-语言对齐框架，用于解决细粒度开放词汇分割中的组合泛化问题。传统方法因将多属性文本提示整体编码而导致语义纠缠，难以泛化到未见过的属性-类别组合。该框架通过以下创新实现突破：(1) 显式分解文本提示为独立的概念标记和属性标记；(2) 引入特征门控交叉注意力模块，通过乘法融合强制组合语义；(3) 提出对数空间"与"评分策略，实现稳定的组合匹配。在UBC和PACO-LVIS数据集上的实验表明，该方法显著提升了对未见组合的泛化能力（UBC上未见AP从4.0提升到7.1）

摘要： KNN（K近邻）是一种基于实例的“懒惰学习”算法，其核心思想是“物以类聚”——通过计算新样本与训练数据的距离，找到最近的K个邻居进行投票（分类）或取均值（回归）。KNN无需训练，但预测时需遍历所有数据，效率较低。其性能高度依赖距离度量（如欧氏距离、余弦相似度）、K值选择（需权衡偏差与方差）以及特征缩放（必须标准化）。KNN简单直观，但在高维数据中受“维度灾难”影响严重（点间距离趋同），且对噪声敏感。实际应用中需注意：优先选择奇数K值（3~15）、使用交叉验证调参、结合KD-Tree优化计算。KNN适