一文读懂机器人中的模仿学习（LfD）与强化学习（RL）

在当前人工智能领域纷繁多样的网络架构与学习模型中，哪些技术最有可能成功应用于机器人？如何针对特定的机器人设计、任务与环境对这些技术加以适配？又有哪些挑战亟待克服？

本文将介绍自20世纪90年代以来，人工智能在机器人领域取得的成就以及挑战。

人工智能与机器人发展遇到的挑战比如，持续更新的大规模数据集——确保其能够代表机器人可能执行的多样化任务及所遇各类环境；到专门针对机器人问题而设计、同时又具备足够通用性以适用于广泛应用场景并能轻松移植至多种机器人平台的人工智能算法；再到实现机器人与人类的有效协作，要求机器人能够在不依赖基于偏见的画像的前提下准确预测人类行为。此外，人工智能驱动的机器人控制必须具备可解释性和透明度，这不仅是可选项，更是建立信任、防止滥用以及厘清事故责任的关键所在。

并且一项终极的挑战，设计出能够实现终身学习的机器人，同时确保其安全部署与使用，并使计算成本保持可持续性。

过去十年，人工智能（AI）技术的发展及其实际应用取得了令人瞩目的进展，尤其是在基于深度学习（DL）的多层人工神经网络（ANNs）系统方面。尽管人工神经网络并非新概念，但若干因素共同推动了其性能和可扩展性的迅猛提升。一方面，诸如图形处理器（GPU）等计算平台已广泛普及，提供了更强的计算能力，使构建“更深”的网络——即具有更多隐藏层的网络——成为可能。另一方面，互联网上多模态数字信息的指数级增长以及开源软件的广泛应用，使得海量数据得以轻松获取，为训练和测试数据集的创建提供了便利条件。

我们不能指望那些在纯数据和软件驱动的游戏环境，或图像与文本生成领域表现卓越的方法，能够轻易地应用于复杂、不可预测环境中运行的实体机器的实时感知、规划、控制与导航——尤其是涉及人类交互的场景。在物理世界中，行动与感知所面临的挑战迥然不同，甚至可以说更为严峻：状态空间更加庞大，训练数据既难以获取也难以生成，而安全性和可靠性更是不容妥协。至关重要的是，我们必须明确何时需要人工智能，何时无需依赖人工智能；同时，还需甄别当前人工智能领域种类繁多的架构与学习模型中，哪些技术能够成功应用于机器人，并探讨如何针对特定的机器人设计、任务与环境对这些技术加以适配与优化。

自1990年以来，机器人领域应用了种类繁多的人工智能技术，其中两类主要的算法与数据采集方法尤为突出。

一类算法能够使机器人从专家数据中学习，这些数据通常由人类示范者提供：示范者执行目标动作时，其运动过程会被视觉或动作传感器捕捉。这一方法也被称为“演示编程”、“从演示中学习”（LfD）或“模仿学习”。实践证明，这种方法适用于从抓取到复杂物体操作等多种任务。LfD算法甚至能取得令人瞩目的成果，例如在空中接住飞行中的物体，或控制复杂的飞行机动动作，而且只需少量数据集即可实现。然而，LfD方法一直以来的主要局限性在于，它内在地要求必须有具备良好任务知识的专人操作员参与机器人的训练，而且往往需要经过多次训练环节。为应对这些挑战，当前的研究正致力于从非专家或次优示范中学习，或者利用大量人类与机器人动作的数据集进行学习。此外，还有一些其他方法也被提出，如主动学习、一次性学习与行为模仿，以及行为克隆，它们旨在提升LfD的效率：这些技术允许机器人仅在必要时向专家请求示范，从而仅凭一次示范便学会完整的行为；或者先以自监督的方式积累经验，再利用这些经验构建模型，进而通过观察专家示范来促进特定任务的学习。

所有这些方法都已被证明，相较于其他技术，所需的示范后环境交互次数更少。

另一种学习算法称为强化学习（RL），它使机器人系统能够通过试错的方式进行学习，而无需事先明确界定何为正确的控制策略。强化学习通常应用于机器人及其环境的计算机模拟中，以生成足够多的学习周期，并在实际部署于真实机器人之前，训练出稳健可靠的策略，从而应对来自真实机器人反馈不足或延迟等问题。尽管强化学习能够在探索与利用之间取得平衡，但其探索阶段往往耗时较长，且难以轻松扩展到高维空间。近期的研究进展充分利用了大数据学习日益增强的效力，在诸如四足机器人和仿人机器人等腿式机器人的步态控制，以及飞行机器人等领域取得了显著成效。尽管在设计逼真的仿真器方面已取得巨大进展，但如何将仿真环境中所获得的学习成果从模拟世界转移到真实环境中——即所谓的“从仿真到现实”问题——仍是一项严峻挑战。此外，强化学习的成功还取决于对如何定义有效的奖励指标以及如何据此评估机器人表现的充分先验知识。

通过结合使用模仿学习（LfD）和强化学习（RL），可以解决其中一些挑战，从而充分发挥这两种技术的优势，并有效缓解它们各自的局限性。例如，LfD可用于通过以优质示例进行引导，缩小强化学习的搜索空间；还可用于缩短大型模型的训练时间，或者同时推断奖励函数与最优控制策略，这种技术被称为逆向强化学习。

新型应用和商业部署的潜力：

许多源于学术研究的突破性进展已成功转化为商业应用。如今，由人工智能驱动的机器人正越来越多地被部署于电商仓库，能够精准地拣选和分拣各种尺寸的包裹。借助机器学习技术，这些机器人还能在装配线上实现在线适应，完成诸如拾取与放置等任务——而过去这类任务往往需要严格预编程。现在，如果物体位置偏移、形状或重量出乎意料，机器人也能自动调整运行轨迹。始于2000年代初的自动驾驶技术，如今已广泛应用：从目前市面上大多数车型所具备的部分自动驾驶功能，到某些特定城市及有限场景下正在进行的完全自动驾驶试点，技术发展日新月异。

尽管人工智能如今已广泛应用于机器人技术的各个领域，但其中一个尤为引人关注的应用方向便是软体机器人领域。在这一领域，机器人的本体具有可变形的连续体特性，且其与环境之间的复杂交互作用使得传感器数据处理、状态估计和控制任务尤为棘手。软体机器人的天然顺应性有助于简化机器人在需要与人类直接互动的场景中的使用，并可通过生物可降解解决方案应对全球性挑战。人工智能或可为刚性机械控制方法提供替代方案或加以补充，尤其是在处理软体机器人非线性、易出现滞后效应且传感器数据异质性强的信号流方面。一个值得注意的例子是，近期卷积神经网络被成功应用于解析来自软手套人工皮肤的海量数据，从而实现了对物体抓握动作的实时识别与精准控制。

短期和中期挑战：

我们才刚刚开始触及强化学习、模仿学习及其他人工智能技术在机器人领域应用的潜力。无论短期还是长期，我们都面临着诸多挑战——从软硬件开发到理论与算法的创新进步，不一而足。