<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Xiaohu ZHU on Medium]]></title>
        <description><![CDATA[Stories by Xiaohu ZHU on Medium]]></description>
        <link>https://medium.com/@TigerScorpior?source=rss-296b269ccccb------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*9PktB63bLJMQQB4gqPKpIw.jpeg</url>
            <title>Stories by Xiaohu ZHU on Medium</title>
            <link>https://medium.com/@TigerScorpior?source=rss-296b269ccccb------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 03:24:31 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@TigerScorpior/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[规格欺骗：人工智能创造力的另一面]]></title>
            <link>https://medium.com/@TigerScorpior/%E8%A7%84%E6%A0%BC%E6%AC%BA%E9%AA%97-%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%88%9B%E9%80%A0%E5%8A%9B%E7%9A%84%E5%8F%A6%E4%B8%80%E9%9D%A2-65a33f8e3059?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/65a33f8e3059</guid>
            <category><![CDATA[deepmind]]></category>
            <category><![CDATA[csagi]]></category>
            <category><![CDATA[ai-safety]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Wed, 22 Apr 2020 17:26:02 GMT</pubDate>
            <atom:updated>2020-04-22T17:26:02.987Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>作者</strong>：维多利亚·克拉科夫娜（Victoria Krakovna），乔纳森·上萨（Jonathan Uesato），弗拉基米尔·米库里克（Vladimir Mikulik），马修·拉赫兹（Matthew Rahtz），汤姆·埃弗里特（Tom Everever），拉玛娜·库玛（Ramana Kumar），扎克·肯顿（Zac Kenton），杨·雷克（Jan Leike），沙恩·莱格（Shane Legg） — — DeepMind 人工智能安全团队</p><p><strong>译者</strong>：朱小虎（Xiaohu Zhu） — — Center for Safe AGI 创始人</p><p><em>本文交叉发布在 DeepMind 的</em><a href="https://deepmind.com/blog/article/Specification-gaming-the-flip-side-of-AI-ingenuity"><em>官方网站</em></a><em>上。</em></p><p><strong>规格欺骗</strong>是一种在没有达到预期结果的情况下满足目标字面规格的行为。即使没有这个名称，我们都有过规格欺骗的经验。读者可能已经听说过<a href="https://en.wikipedia.org/wiki/Midas">迈达斯国王</a>的神话和点石成金的故事，其中国王要求将他接触的任何东西都变成黄金 — — 但很快就发现，甚至是食物和饮料也变成了他手中的金属。在现实世界中，当学生因在一项家庭作业上的出色表现而获得奖励时，他可能会抄袭另一个学生来获得正确的答案，而不是通过学习材料，从而利用了任务规格中的漏洞。</p><p>在人工智能体的设计中也会出现这个问题。例如，强化学习智能体可以找到一条获得大量奖励的捷径，而无需按照人工设计者的意图完成任务。这些行为很常见，到目前为止，我们已经<a href="http://tinyurl.com/specification-gaming">收集了</a>大约 60 个示例（汇总了<a href="https://arxiv.org/abs/1803.03453">现有</a> <a href="https://www.gwern.net/Tanks#alternative-examples">列表</a>和人工智能社区的持续<a href="https://docs.google.com/forms/d/e/1FAIpQLSeQEguZg4JfvpTywgZa3j-1J-4urrnjBVeoAO7JHIH53nrBTA/viewform">贡献</a>）。在这篇文章中，我们回顾了规格欺骗的可能原因，分享了在实践中发生这种情况的案例，并争论了关于解决规格问题的原则方法的进一步工作。</p><p>让我们来看一个例子。在<a href="https://arxiv.org/abs/1704.03073">乐高积木堆叠任务中</a>，理想的结果是使红色块最终位于蓝色块的顶部。当智能体未触摸红色块的底面高度时，会对其进行奖励。智能体没有执行相对困难的操作来捡起红色方块并将其放置在蓝色方块的顶部，而是简单地将其翻转到红色方块上以收集奖励。这种行为达到了既定目标（红色方块的高底面），而牺牲了设计人员实际关心的内容（将其堆叠在蓝色方块的顶部）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/430/0*g7H1iGxLfXcZm2cZ" /></figure><p>我们可以从两个不同的角度考虑规格欺骗。在<strong>开发强化学习（RL）算法</strong>的范围内，目标是构建学会实现给定目标的智能体。例如，当我们使用 Atari 游戏作为训练强化学习算法的基准任务时，目标是评估我们的算法是否可以解决困难的任务。在这种情况下，智能体程序是否通过利用漏洞来解决任务并不重要。从这个角度来看，规格欺骗是一个好的信号 — — 智能体已找到一种实现指定目标的新式方法。这些行为说明了算法的独创性和强大能力，它们可以找到确切地执行我们告诉他们的操作的方法。</p><p>但是，当我们希望智能体实际去堆叠乐高积木时，相同的创造力可能会带来问题。在<strong>构建</strong>能够在世界范围内实现预期结果的<a href="https://medium.com/@deepmindsafetyresearch/scalable-agent-alignment-via-reward-modeling-bf4ab06dfd84"><strong>对齐的智能体</strong></a>的更广泛范围内，规格欺骗是有问题的，因为它涉及智能体以牺牲预期结果为代价来利用规格中的漏洞。这些行为是由于预期任务的规格不正确而不是强化学习算法中的任何缺陷引起的。除了算法设计之外，构建对齐智能体的另一个必要组件是奖励设计。</p><p>准确地反映人类设计者意图的设计任务规格（奖励功能，环境等）往往很困难。甚至对一个存在轻微的错误规格指定，一个非常好的RL算法也许能够找到与预期解决方案完全不同的复杂解决方案，即使一个更差的算法无法找到该解决方案，但得出的结果反而更接近于预期的解决方案。这意味着，随着强化学习算法的改进，正确指定意图对于实现所需结果变得更加重要。因此，至关重要的是，研究人员正确指定任务的能力必须与智能体寻找新颖解决方案的能力保持一致。</p><p>我们在广义上使用术语<strong>任务规格</strong>来涵盖智能体开发过程的许多方面。在强化学习设置中，任务规格不仅包括奖励设计，还包括训练环境和辅助奖励的选择。任务说明的正确性可以确定智能体的创造力是否符合预期结果。如果规格正确，智能体的创造力将产生理想的新颖解决方案。这就是 AlphaGo 走出著名的<a href="https://en.wikipedia.org/wiki/AlphaGo_versus_Lee_Sedol#Game_2">第 37 步的原因</a>，这使人类围棋专家感到惊讶，但这在与李世石的第二场比赛中至关重要。如果规格错误，则可能会产生不良的博弈行为，例如翻转方块。这些类型的解决方案取决于一个范围，我们还没有一个客观的方式来区分它们。</p><p>现在，我们将考虑规格欺骗的可能原因。奖赏功能失准的一种根源是设计不当的<strong>奖赏塑造</strong>。奖励塑形通过在解决任务的方式上给予智能体一些奖励，而不是仅仅奖励最终结果，使学习一些目标变得更加容易。但是，如果奖励不是<a href="https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf">基于潜力的，</a>则可以改变最优策略。考虑一个在<a href="https://openai.com/blog/faulty-reward-functions/">海岸奔跑者游戏中</a>控制船只的智能体，该<a href="https://openai.com/blog/faulty-reward-functions/">游戏</a>的预期目标是尽快完成比赛。智能体因在赛道上击中绿色方块而获得了成形奖励，这将最佳策略更改为绕行并一遍又一遍击中相同的绿色方块。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/0*RNQ1o7pNaP3wxssL" /></figure><p>指定能够准确捕获<strong>所需最终结果</strong>的奖励本身可能是一项挑战。在乐高积木堆叠任务中，仅指定红色块的底面必须高出地面是不够的，因为智能体可以简单地翻转红色块来实现此目标。对所需结果的更全面说明还包括：红色块的顶面必须在底面之上，并且底面必须与蓝色块的顶面对齐。在指定结果时，很容易错过这些标准之一，从而使规格变得过于宽泛，并且可能更容易满足于一个退化的解决方案。</p><p>与其尝试创建涵盖所有可能的极端情况的规格，不如<a href="https://deepmind.com/blog/article/learning-through-human-feedback"><strong>从人类反馈中学习奖励函数</strong></a>。评估结果是否已实现通常比明确指定结果要容易得多。但是，如果奖励模型没有学习到反映设计者偏好的真实奖励函数，则此方法也会遇到规格欺骗问题。错误的一种可能来源可能是用于训练奖励模型的人为反馈。例如，执行<a href="https://openai.com/blog/deep-reinforcement-learning-from-human-preferences/">抓取任务</a>的智能体通过在相机和对象之间悬停而学会了愚弄人类评估者。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/0*uKsqr78-5kqBvVgR" /></figure><p>由于其他原因，例如泛化不佳，学习的奖励模型也可能被错误指定。可以使用其他反馈来更正智能体尝试利用奖励模型中的不准确性的尝试。</p><p>另一类规格欺骗示例来自利用<strong>模拟器错误</strong>的智能体。例如，一个本应学会走路的<a href="https://www.youtube.com/watch?v=K-wIZuAA3EY&amp;feature=youtu.be&amp;t=486">模拟机器人</a>想出了如何将双腿钩在一起并沿着地面滑动的方法。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*TWWkjs_D_-rLlOOi" /></figure><p>乍一看，这些示例可能看起来很有趣，但没那么有趣，并且与在没有模拟器错误的现实世界中部署智能体无关。但是，根本问题不是错误本身，而是智能体可以利用的抽象失败。在上面的示例中，由于对模拟器物理的错误假设，错误地指定了机器人的任务。类似地，通过错误地假设交通流量路由基础结构不具有足够聪明的智能体可以发现的软件错误或安全漏洞，可能会错误地指定现实世界的流量优化任务。无需明确地做出这样的假设 — — 更有可能的是，它们只是设计者从未想到的细节。而且，由于任务变得过于复杂而无法考虑每个细节，规格设计期间的<strong>错误假设</strong>。这就提出了一个问题：是否有可能设计能够纠正这种错误假设而不是进行假冒的智能体架构？</p><p>任务规格中通常做出的一种假设是，任务规格不会受到智能体的动作的影响。对于在沙盒模拟器中运行的智能体，这是正确的，但对于在现实世界中运行的智能体，则不是这样。任何任务说明都具有物理表现：存储在计算机上的奖励功能或存储在人脑中的偏好。部署在现实世界中的智能体程序可能会操纵目标的这些表示，从而产生<a href="https://medium.com/@deepmindsafetyresearch/designing-agent-incentives-to-avoid-reward-tampering-4380c1bb6cd">奖励篡改</a>问题。对于我们假设的流量优化系统，在满足用户的偏好（例如，通过给出有用的指示）与<a href="https://pubsonline.informs.org/doi/10.1287/isre.2013.0497">影响用户</a>之间并没有明显的区别。（例如，通过轻推它们以选择更容易达到的目的地）。前者满足了目标，而后者则操纵了目标在世界上的表示（用户偏好），两者都为人工智能系统带来了丰厚的回报。再举一个极端的例子，一个非常先进的人工智能系统可以劫持运行它的计算机，并手动将其奖励信号设置为较高的值。</p><p>综上所述，解决规格欺骗至少要克服三个挑战：</p><ul><li>我们如何在奖励功能中忠实地捕捉给定任务中的人类概念？</li><li>我们如何避免对领域作出错误的隐含假设，或者如何设计智能体来纠正错误的假设而不是欺骗它们？</li><li>我们如何避免奖励篡改？</li></ul><p>尽管已经提出了许多方法，从奖励模型到智能体激励设计，但规格欺骗还远未解决。<a href="http://tinyurl.com/specification-gaming">规格欺骗行为的清单</a>说明了问题的严重性以及智能体欺骗某一目标规格的方式之多。随着人工智能系统变得越来越有能力以牺牲预期结果为代价来满足任务规格，这些问题将来可能变得更具挑战性。随着我们不断创造出更高级的智能体，我们将需要专门针对克服规格问题并确保这些智能体健壮地追求设计者预期结果的设计原则。</p><p><em>我们要感谢 Hado van Hasselt 和 Csaba Szepesvari 对本文的反馈。</em></p><p><em>Paulo Estriga，Aleks Polozuns和Adam Cain 的自定义人物。</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*u6g9rbo7vmp3mPLi" /><figcaption>资料来源：蒙特祖玛，英雄，私眼-在Atari的人类喜好和示威活动中进行奖励学习（Ibarz等，2018）。抓取器（Gripper） — 通过基于进化的胡言乱语来学习多种多样的对象操作（Ecarlat等，2015）。Qbert-回到基础：基准测试玩Atari的经典进化策略（Chrabaszcz等，2018）。Pong，机器人之手-从人类偏好中进行深度强化学习（Christiano等，2017）。天花板 — 遗传算法物理利用（Higueras，2015年）。撑竿跳高-走向自主机器人的高效进化设计（Krcah，2008）。自动驾驶汽车 — Mat Kelcey撰写的推文（Udacity，2017年）。蒙特祖玛（Montezuma） — Go-Explore：解决难题的新方法（Ecoffet等，2019）。翻筋斗 — 不断发展的虚拟生物（Sims，1994年）。</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=65a33f8e3059" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[新的研究论文简介：塑造形为的动机]]></title>
            <link>https://medium.com/@TigerScorpior/%E6%96%B0%E7%9A%84%E7%A0%94%E7%A9%B6%E8%AE%BA%E6%96%87%E7%AE%80%E4%BB%8B-%E5%A1%91%E9%80%A0%E5%BD%A2%E4%B8%BA%E7%9A%84%E5%8A%A8%E6%9C%BA-b6561b5ab87b?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/b6561b5ab87b</guid>
            <category><![CDATA[incentives]]></category>
            <category><![CDATA[deepmind]]></category>
            <category><![CDATA[safe-agi]]></category>
            <category><![CDATA[agi]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Fri, 07 Feb 2020 09:41:42 GMT</pubDate>
            <atom:updated>2020-02-07T09:57:42.216Z</atom:updated>
            <content:encoded><![CDATA[<h3>新的研究论文简介：塑造行为的动机</h3><p><a href="https://www.fhi.ox.ac.uk/team/ryan-carey/"><em>Ryan Carey</em></a><em> 和 Eric Langlois 介绍</em><a href="https://arxiv.org/abs/2001.07118">了塑造行为的动机</a>论文的工作。由 Xiaohu Zhu 翻译。</p><p>机器学习算法通常非常有效，但是很难确定它们的安全性和公平性。通常，机器学习系统的属性是通过测试确定的。但是，即使系统在测试环境中行为安全，部署时它也可能做出不安全或不公平的行为。然而，可以通过分析<a href="https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&amp;arnumber=8418593">输入扰动</a>、<a href="https://arxiv.org/abs/1602.04938">个体决策</a>或<a href="https://distill.pub/2018/building-blocks/">网络激活</a>来研究模型的属性，但这通常很困难、耗时且对专业知识的要求很高。</p><p>除了检查或测试个体模型外，我们的替代方法是查看给定的训练环境是否会引发不安全或不公平的决定。</p><p>这种方法并不完全是新颖的 — — 激励是讨论的一个直觉而相关的对象。例如，请参阅下面 Stuart Russell 对推荐系统激励措施的讨论。（其他示例包括 <a href="http://papers.nips.cc/paper/6420-cooperative-inverse-reinforcement-learning">Hadfield-Mennell 等人的评论 1</a> 和 <a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.393.8356&amp;rep=rep1&amp;type=pdf">Steve Omohundro 的 The Basic AI Drives。</a>）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/926/0*l6OqzU_dpb8CydcU" /></figure><p><em>被放进[社交媒体推荐]机器的目的是什么？给人们提供他们想点击的东西，因为这就是我们的赚钱方式。那么如何最大程度地提高点击率 — — 你只是向人们发送他们喜欢点击的内容，对吗？就那么简单。实际上，这不是算法正在做的事情 …… 这不是强化学习的工作原理。强化学习改变了世界的状态来最大化奖励。在这种情况下，世界的状态就是你的大脑 … [所以] 它以一种使你更容易预测的方式改变了你自己，从而可以向你发送它知道你将要单击的内容。” — Stuart Russell</em></p><p>修改用户行为的压力可以看作是一个不想要的动机。像这样的基于动机的论点很强大，因为它们独立于系统体系结构而适用。然而，<a href="http://auai.org/uai2016/proceedings/papers/68.pdf">以前</a>有关动机措施的<a href="https://www.fhi.ox.ac.uk/wp-content/uploads/2010-1_body.pdf">大多数</a><a href="https://arxiv.org/abs/1705.08417">研究工作</a>都集中在特定问题上，这使得将其应用于新问题和新情况变得困难。在我们最近的工作中，我们已经开始发展一种通用的<em>因果动机理论</em>，该<em>理论</em>使我们能够在一个统一的框架内陈述和制定针对多种公平与安全问题的解决方案。</p><p>在我们的理论中，<em>动机</em>大致是智能体为实现其目标所必须采取的措施。我们考虑两种类型的动机措施：当智能体必须控制其环境的某些组成部分以最大化其效用时（例如，上面社交媒体推荐示例中的“用户意见”），便存在<em>控制动机措施</em>。一个<em>响应激励 response incentives </em>出现，当智能体的决定必须是因果响应其环境的某些组件 — — 例如，在崎岖地形导航时，机器人应该注意障碍物的位置。</p><h3>控制动机</h3><h3>例子</h3><p>为了使动机分析形式化，我们可以使用<em>因果影响图</em>。因果影响图通过将其分解成图表来表示决策问题，其中每个变量都取决于其父变量指代的值（如果存在箭头 X -&gt; Y，则 X 是 Y 的父变量）。它由三种类型的节点组成：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*siN5GsNKr8-JA7bw" /></figure><p>例如，Stuart Russell 的社交媒体操纵示例可以用以下影响图表示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Name12crjh50y2ca" /><figcaption>控制用户意见的动机</figcaption></figure><p>在此模型中，推荐程序算法选择一系列帖子来向用户显示，以使用户单击的帖子数量最大化。如果我们将用户对每个帖子的回复视为独立事件，那么用户欣赏的内容将获得更多点击。但是，这些帖子也有间接影响。如果用户查看了许多偏颇的文章，那么他们可能会采纳其中的一些观点，并且在点击内容方面变得更具可预测性。这可以使该算法在该系列的后续文章中获得更高的点击率，并且意味着对<em>受影响的用户意见</em>具有控制动机。</p><p>为了减轻 Stuart Russell 的顾虑（在保留系统功能的同时），我们希望删除用户意见的控制动机，同时保留<em>点击</em>的动机。我们可以重新设计系统，以使它不会因获得真实的点击率而得到奖励，而会因基于原始用户意见模型的<em>预测的</em>帖子<em>点击</em>而获得奖励。以这种方式训练的智能体会将用户意见的任何修改视为与提高其性能无关。</p><p>为了在实践中起作用，点击预测本身不能包含用户意见修改的影响。我们可以通过使用一种假设模型来实现此目的，该模型假定帖子之间是独立的，或者是通过仅向每个用户显示一篇帖子来学习的。在对动机进行推理时，这需要考虑一个重要的考虑因素：只有当变量（例如预测的点击）中没有一个充当另一个的“代理”时，对变量（例如点击）缺乏动机才有意义。否则，即使没有点击控制动机，对预测点击的控制动机也可能会系统地诱发与点击控制动机相同的决策。在未来的工作中，我们计划分析哪些隐含动机代理因素会产生。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*8l2Mav_sZd8eRlpr" /><figcaption>对用户意见无控制动机</figcaption></figure><p>此示例适合将控制动机与安全性和性能相关联的重复模式：为了获得良好的性能，某些控制动机是必要的，但是错误的控制动机可能会导致系统不安全。例如，AlphaGo 之所以运作良好，是因为它具有控制动机来保护其性能（性能）而不保护服务器（安全性）。确保控制动机符合用户的偏好是安全的动机设计中的核心问题。</p><p><strong>定义控制动机</strong></p><p>既然我们已经掌握了控制动机的基本概念，那么我们可以考虑如何定义它们。假设存在一些变量 X（例如用户的政治观点）。如果 AI 系统的行为不同，我们可以考虑 X 可以<em>达到的值</em>。如果将X 设置为任何可达到的值 x（例如“左翼”，“中间派”或“右翼”）会改变性能，那么我们说 X 就有<em>控制动机</em>。在此定义下，控制动机从决策到效用的因果路径上的任何变量都可能出现。</p><p><a href="https://arxiv.org/abs/1902.09980">Everitt等</a>定义了<em>干预动机</em>的相关概念。如果可以通过直接设置其价值来获得效用，则该变量将面临干预动机。（这等于<a href="https://www.microsoft.com/en-us/research/publication/pearl-causality-value-control/">控制</a>的<a href="https://www.microsoft.com/en-us/research/publication/pearl-causality-value-control/">值</a>不为零。）干预动机比控制动机对行为预测的能力要少，因为干预动机没有考虑行为主体能够影响其决策的因素，因此，本文标题为“塑造行为”。</p><p>让我们回到我们的例子中，以强调这两种动机措施之间的区别。导致效用的所有变量都具有干预动机，但是只有那些也在行动下游的变量才具有控制动机。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ZmFcPwY6L58APiy0" /></figure><h3>响应动机</h3><p>最佳决策必须对哪些事件做出响应？</p><p>这个问题对人工智能安全性和公平性都有重要意义。为了安全性，如果变量是关闭命令，则人工智能系统的行为希望对此变量做出响应。这样的响应动机不足以保证安全，但这是一个好的开始。相反，如果没有这种动机措施，那么最优策略很容易是不安全的。总体上对人的命令具有响应动机，以及对于价值学习系统对人的价值也有具有响应动机，这两者都是需要的。</p><p>这对公平性也具有重要意义。如果诸如种族或性取向之类的敏感变量具有响应动机，则这表明受过训练的算法<a href="https://arxiv.org/abs/1703.06856">反事实的不公平</a>的动机。我们在论文中表明，如果对敏感属性具有响应动机，则所有最佳策略在该属性上实际上都是不公平的。我们的论文采取了一些步骤来定义不公平的动机措施：主要集中于如何排除给定图中不公平的动机措施的存在。</p><p>因此，响应动机的可取性取决于变化的变量。对于某些变量，我们希望人工智能系统对其进行响应，以确保行为安全。对于其他变量，如果人工智能系统对此做出响应，那么我们认为该系统是不公平的。</p><h3>应用、局限性和后续步骤</h3><p>该理论已经通过其应用证明了其价值。除了讨论的安全性和公平性问题外，它还被用于分析人工智能 <a href="https://arxiv.org/abs/1905.12186">盒式方案</a> 和 <a href="https://arxiv.org/abs/1908.04734">奖励篡改问题</a>（<a href="https://medium.com/@deepmindsafetyresearch/designing-agent-incentives-to-avoid-reward-tampering-4380c1bb6cd">博客文章</a>）。正如公平示例所示，该理论不一定要求主体进行因果推理或具有因果模型，而我们（设计人员）可以对主体的行为进行因果推理。</p><p>从长远来看，我们的愿望是，当研究人员预期可能存在的安全性或公平性问题时，他们会使用此理论对其人工智能系统进行动机分析。在应用我们的图标准来自动识别存在哪些动机之前，通常需要绘制一个因果图来说明各种智能体的程序组件如何组合在一起，并就应该存在（或不存在）哪些动机做出判断。在非常乐观的情况下，动机分析将成为建立人工智能系统可信赖性的标准工具，类似于使用统计方法描述人工智能性能的方法。但是从短期来看，我们需要进行一些研究工作来使这些方法更为有用，因此也很乐意在大家需要的地方提供建议。</p><p>该理论尚未完成，因为它目前仅限于单一智能体设置。我们正在努力将其扩展到一个多步决策案例，最终，我们希望它能够处理多个智能体。该文件可在以下网址获得：</p><p>R Carey，E Langlois，T Everitt和S Legg。<a href="https://arxiv.org/abs/2001.07118">塑造行为的动机</a>（2020），SafeAI @ AAAI。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b6561b5ab87b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[具有避免奖励函数篡改动机的智能体设计]]></title>
            <link>https://medium.com/@TigerScorpior/%E5%85%B7%E6%9C%89%E9%81%BF%E5%85%8D%E5%A5%96%E5%8A%B1%E5%87%BD%E6%95%B0%E7%AF%A1%E6%94%B9%E5%8A%A8%E6%9C%BA%E7%9A%84%E6%99%BA%E8%83%BD%E4%BD%93%E8%AE%BE%E8%AE%A1-4b58bec87eec?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/4b58bec87eec</guid>
            <category><![CDATA[agi]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[reinforcement-learning]]></category>
            <category><![CDATA[ai-safety]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Wed, 14 Aug 2019 18:06:02 GMT</pubDate>
            <atom:updated>2019-08-15T06:02:48.993Z</atom:updated>
            <content:encoded><![CDATA[<p><em>由 Tom Everitt，Ramana Kumar 和 Marcus Hutter 撰写</em></p><p><em>由 Xiaohu Zhu 朱小虎 翻译</em></p><p><strong>从人工智能安全的角度来看，拥有一个清晰的设计原则和一个清晰的表明了它解决了什么问题的特性描述就意味着我们不必去猜测哪些智能体是安全的。在本文和这篇</strong><a href="https://arxiv.org/abs/1908.04734"><strong>论文中，</strong></a><strong>我们描述了一种称为当下奖励函数优化的设计原理如何避免奖励函数篡改问题。</strong></p><p>强化学习（RL）智能体旨在最大化奖励。例如，国际象棋和围棋的智能体因赢得游戏而获得奖励，而制造机器人可能因正确组装某些特定部件而获得奖励。RL 智能体有时可以找到比任务设计者更好的战略（strategy），正如最近在<a href="https://deepmind.com/research/alphago/">围棋</a>和<a href="https://deepmind.com/blog/alphastar-mastering-real-time-strategy-game-starcraft-ii/">星际争霸中</a>展示的那样。</p><p>然而，确定“更好”意味着什么是 tricky 的。有时智能体发现了一个看似更好的战略，但实际上它其实是在奖励规格（reward specification）中找到了漏洞。我们将此称为<a href="https://arxiv.org/abs/1606.06565">奖励攻击</a>。奖励攻击的一种类型是<a href="https://arxiv.org/abs/1711.09883">奖励操纵</a>（reward gaming），其中智能体过度利用（exploit）误定的奖励函数（参见例如<a href="https://openai.com/blog/faulty-reward-functions/">赛艇示例</a>）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*uSsb5BHy4ka1K-BW" /></figure><p>在我们的最新<a href="https://arxiv.org/abs/1908.04734">论文中</a>，我们专注于另一种称为<strong>奖励篡改</strong>的奖励黑客攻击。在奖励篡改中，智能体不过度利用误定的奖励函数。相反，它<strong>主动地改变</strong>奖励函数。例如，一些<a href="https://www.kotaku.com.au/2016/11/arbitrary-code-execution-explained-using-super-mario-bros/">超级马里奥环境</a>有一个 bug，允许通过采取正确的游戏内动作序列来执行任意代码。原则上，这可以用于重新定义游戏的得分。</p><p>虽然这种类型的黑客攻击超出了大多数环境中当前 RL 智能体的功能，但构建更有能力的智能体的广泛需求可能最终导致我们构建可以利用此类捷径的智能体。因此，了解奖励篡改与我们预测未来的失败模式，并找出如何在它们发生之前预防它们的人工智能安全工作相关。</p><h3>Gridworld的例子</h3><p>我们可以使用可以修改奖励函数的<a href="https://deepmind.com/blog/specifying-ai-safety-problems/">网格世界</a>来说明奖励篡改问题。我们采用了一种来自<a href="https://hempuli.com/baba/">“Baba Is You”</a>的游戏机制，<a href="https://hempuli.com/baba/">这是</a>一款益智游戏，其中游戏的某些规则是用环境中的文字描述的智能体可以推送这些单词，以便更改规则。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*wx5LdWfhXv5b8EWT.png" /><figcaption>图示中，智能体可以推岩石、钻石和文字（如在推箱子游戏中一样，黑色的东西可以被移动）。智能体的目标由紫色节点描述。初始时，描述说明当将钻石推动到绿色目标区域时可能获得奖励。这是预期任务。但是，智能体也能够篡改奖励函数。通过将“奖励”文字推到下面取，奖励函数开始给岩石分配奖励而不是钻石，从而创造出智能体奖励函数和预期任务的不一致。</figcaption></figure><p>由于岩石多于钻石，因此为智能体提供最大回报的策略是首先推送奖励文字，然后收集岩石而不是钻石。尽管这给了智能体最大的回报，但这种解决方案对于想要钻石而不是岩石的用户来说是不可接受的。</p><p>虽然过于简单化，但我们认为这个网格世界捕获了奖励篡改动态（dynamics）。通常，当奖励篡改可能时，智能体可以在环境中做某事（例如，入侵持有奖励函数实现的计算机），其改变所实现的奖励函数，从而改变所分配的奖励。这正是岩石和钻石 gridworld 的动态。</p><h3>因果影响图表示</h3><p>我们之前的工作展示了如何使用<a href="https://en.wikipedia.org/wiki/Influence_diagram">因果影响图</a>来<a href="https://medium.com/@deepmindsafetyresearch/understanding-agent-incentives-with-causal-influence-diagrams-7262c2512486">理解智能体激励动机</a>和<a href="https://arxiv.org/abs/1906.08663">AGI安全框架的模型</a>。激励动机分析直接适用于此。首先，我们<strong>使用具有可修改奖励函数</strong>的<a href="https://en.wikipedia.org/wiki/Markov_decision_process">马尔可夫决策过程</a> 的因果影响图来模拟奖励篡改问题：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*BhqBmBShu-tYd5UT" /><figcaption>这里 𝜣ᴿᵢ 表示在时刻 i 奖励描述，𝜣ᴿ₁ 代表“钻石是有奖励的”。同时，Sᵢ 表示智能体的位置和所有非紫色方格的状态。奖励 Rᵢ 由 Sᵢ 满足奖励描述 𝜣ᴿᵢ 有多好所确定。例如，如果奖励描述是“钻石是有奖励的”，那么 Rᵢ 等于在 Sᵢ 下目标区域中钻石的数目。智能体的目标是选择行动 Aᵢ 来优化奖励的总和。 箭头表示因果影响，除了那些进入行动的箭头，这部分代表着信息流，（因此使用虚线表示）</figcaption></figure><p>从图中可以看出，从动作 A₁ 到奖励 R₂ 和 R₃ 有两种类型的有向路径。第一种类型的路径（绿色）通过 Sᵢ，代表将钻石或岩石移动到目标区域的智能体。这是我们希望智能体获得奖励的方式。第二种类型的路径（红色）通过 𝜣ᴿᵢ <em>。</em>此路径表示篡改奖励功能，是我们不希望智能体使用的路径。</p><h3>当下奖励函数 current-RF 优化</h3><p>防止智能体篡改奖励函数的一种方法是隔离或加密奖励函数。但是，我们不希望这些解决方案不确定地随我们的智能体的能力扩展，因为一个足够强大的智能体可能会找到绕开大多数防御的方法。在新论文中，我们给出了一种更为原则性的方法来解决奖励篡改问题。我们不是试图保护奖励函数，而是<strong>改变智能体</strong>篡改它<strong>的动机</strong>。</p><p>该修复依赖于<strong>对 RL 框架</strong>的轻微<strong>更改，该更改为</strong>智能体提供了对奖励函数的查询的访问权限。在岩石和钻石环境中，这可以通过向智能体告知紫色节点如何描述奖励函数来完成。</p><p>使用奖励功能查询访问，我们可以设计一个使用基于模型的智能体<strong>当下奖励函数</strong>评估潜在策略的执行（就称为当下奖励函数智能体，a <a href="https://arxiv.org/abs/1605.03142"><strong>current</strong></a><strong>-</strong><a href="http://people.idsia.ch/~juergen/goedelmachine.html"><strong>RF</strong></a><strong> </strong><a href="https://arxiv.org/pdf/1805.12114.pdf"><strong>agent</strong></a>, <a href="https://arxiv.org/abs/1111.3934">for</a> <a href="https://link.springer.com/chapter/10.1007/978-3-642-22887-2_1">short</a>）。例如，在岩石和钻石环境中，当下奖励函数智能体将查看当前的奖励描述，并且在时间 1 看到它应该收集钻石。这是它选择第一个动作的标准，它将向钻石方向上移动。请注意，奖励说明仍然可以改变，就像之前一样。尽管如此，当下奖励函数智能体将不会使用奖励篡改的可能性，因为它专注于满足当下的奖励描述。</p><p>当下奖励函数智能体的目标对应于略有不同的影响图：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*xFvj0S9YXTD9liT0" /><figcaption>当我们选择A1 时，智能体基于当下奖励描述 𝜣ᴿ₁ 和（模拟出的）未来状态 S2 和 S3 优化奖励函数。现在就没有任何红色的从 A1 到未来奖励的经过奖励函数节点 𝜣ᴿᵢ 的有向路径。就是说，奖励篡改的动机已经被避免了</figcaption></figure><p>智能体仍然有动机影响当前的奖励描述 𝜣ᴿ₁。幸运的是，该智能体缺乏影响𝜣ᴿ₁ 的能力，因为没有从 A₁ 到 𝜣ᴿ₁ 的有向路径。例如，在岩石和钻石环境中，智能体将受益于当下不同的奖励描述，但是对于当下的描述没有太多可以做的。</p><h3>实验</h3><p>在岩石和钻石环境中，标准的智能体很快发现它可以通过篡改奖励获得更多奖励。相反，当下奖励函数智能体并不会篡改奖励。仅在智能体收集的奖励上看，标准的 RL 智能体性能更好：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*ybLqiUSMfW2UP9l9" /></figure><p>然而，当我们测量智能体执行钻石收集任务的程度时，我们发现当下奖励函数智能体实际上比标准的 RL 智能体要好得多：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*HnQX-GaIm5VCeI1m" /></figure><p>对于这些实验，我们使用了免模型的当下奖励函数优化，它针对目标区域中的岩石数量训练一个<a href="https://www.researchgate.net/publication/215990481_Horde_A_Scalable_Real-time_Architecture_for_Learning_Knowledge_from_Unsupervised_Sensorimotor_Interaction_Categories_and_Subject_Descriptors">值函数</a> Vʀᴏᴄᴋ，并且针对钻石数量训练一个值函数Vᴅɪᴀᴍᴏɴᴅ。最大化的函数是由当下 𝜣ᴿ 决定的。例如，最初它会优化Vᴅɪᴀᴍᴏɴᴅ，但如果它（意外地）推动那个奖励文字，则可以更改为Vʀᴏᴄᴋ。<a href="https://github.com/deepmind/ai-safety-gridworlds/blob/master/ai_safety_gridworlds/environments/rocks_diamonds.py">此处</a>提供了环境的实现。</p><h3>有用信息和未来的方向</h3><p>大多数 RL 算法都具有奖励功能篡改动机。其中包括从<strong>逐步</strong>奖励信号中学习的基于模型或免模型的 RL 算法。如果训练的模型可以预测奖励篡改的效果，则智能体可以知道篡改将导致更高的逐步奖励，从而适应篡改行为。</p><p>幸运的是，可以通过略微改变标准 RL 智能体目标函数来避免奖励函数篡改动机：具有对奖励函数的查询访问的当下奖励函数优化。事实上，我们相信大多数基于模型的 RL 算法可以相对容易地转换为当下奖励函数优化器（免模型算法可能会带来更多挑战）。</p><p>我们在<a href="https://arxiv.org/abs/1908.04734">论文</a>中更为深入地探讨了当下奖励函数优化的特性。它还详细阐述了智能体的<a href="https://intelligence.org/files/Corrigibility.pdf">可追溯性</a>和自我保护动机的其他问题，以及其他奖励篡改问题，例如篡改用户提供的<a href="https://medium.com/@deepmindsafetyresearch/scalable-agent-alignment-via-reward-modeling-bf4ab06dfd84">奖励建模</a>反馈、<a href="https://link.springer.com/chapter/10.1007/978-3-642-22887-2_2">观察篡改</a>和信念篡改。事实证明，所有这些奖励篡改问题及其解决方案可以使用因果影响图自然地表示。</p><p>本文最重要的一点是，有一些设计原则可以避免奖励篡改问题，并且这些设计原则是相互兼容的。下一步重要的是将设计原则转变为实用且可扩展的 RL 算法，并验证它们在可能存在各种类型的奖励篡改的设置中做正确的事情。随着时间的推移，我们希望这些设计原则将演变成一套<strong>最佳实践，</strong>以便构建没有奖励篡改动机的能力强的 RL 智能体。</p><p><em>特别感谢 Damien Boudot 制作这篇文章的图示。</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4b58bec87eec" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[By Victoria Krakovna (DeepMind), Ramana Kumar (DeepMind), Laurent Orseau (DeepMind), Alexander…]]></title>
            <link>https://medium.com/@TigerScorpior/by-victoria-krakovna-deepmind-ramana-kumar-deepmind-laurent-orseau-deepmind-alexander-1c25813835a?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/1c25813835a</guid>
            <category><![CDATA[agi]]></category>
            <category><![CDATA[ai-safety]]></category>
            <category><![CDATA[universityai]]></category>
            <category><![CDATA[deepmind]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Wed, 13 Mar 2019 06:04:44 GMT</pubDate>
            <atom:updated>2019-03-13T06:04:44.469Z</atom:updated>
            <content:encoded><![CDATA[<h3>设计智能体动机机制来避免副作用</h3><p><em>By Victoria Krakovna (DeepMind), Ramana Kumar (DeepMind), Laurent Orseau (DeepMind), Alexander Turner (Oregon State University)</em><br>Translated by Xiaohu Zhu (University AI)</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*SfilBI_LIjV1Uft7" /></figure><p>人工智能安全中的主要挑战是可靠地指定人类偏好给人工智能系统。不正确或者不完备的目标制定会导致不可知的行为。例如，考虑一个强化学习智能体，其任务是将盒子从 A 点拿到 B 点，其奖励是尽可能快地拿到目的地。如果刚好在到 B 点的最短路径上有个花瓶，那么该智能体将没有绕过花瓶的动机，因为奖励并没有提及花瓶。由于智能体其实没有必要打破花瓶而达到 B 点，打破花瓶就是一个副作用：对智能体环境的破坏，对于达成目标完全没有必要的。</p><p>该副作用问题是<a href="https://medium.com/@deepmindsafetyresearch/building-safe-artificial-intelligence-52f5f75058f1">设计规格（design specification）</a>问题的特例：设计规格（只对达到 B 点的智能体奖励）不同于理想规格（指定设计者对在环境中所有事情的偏好，包括花瓶）。理想规格表达起来困难，特别是在复杂的存在很多可能的副作用的环境中。</p><p>针对此问题的一个观点是让智能体从人类反馈中学会避开副作用，如通过 reward modeling。这样做的好处是不必弄清楚副作用的含义，但也很难判断代理何时成功学会避免它们。一个补充方法是定义适用于不同环境的副作用的一般概念。这可以与奖励建模等 human-in-the-loop 方法相结合，并将提高我们对副作用问题的理解，这有助于我们更广泛地<a href="https://medium.com/@deepmindsafetyresearch/understanding-agent-incentives-with-causal-influence-diagrams-7262c2512486">理解智能体动机</a>。 这是我们关于副作用的新版本<a href="https://arxiv.org/abs/1806.01186">论文</a>的焦点。</p><p>如果我们可以衡量智能体影响环境到什么程度，我们可以定义<strong>影响惩罚</strong>结合任何任务相关的奖励函数（如，尽可能快地达到点 B 的奖励）。为了区分想要的效果和副作用，我们可以设置一个奖励和惩罚之间的权衡。这可以让智能体采取可对奖励造成大影响的高影响行动，如为了蛋卷而打破鸡蛋。</p><p>影响惩罚包括两个组成部分：用作参考点或比较点的环境状态（称为<strong>基线</strong>）以及测量当前状态距离该基线状态的距离作为智能体行为的结果（称为<strong>偏离度量</strong>）的方法测量）。 例如，对于常用的可逆性标准，基线是环境的起始状态，偏离度量是起始状态基线的不可达性。 这些组件可以被单独选择。我们现在将讨论一些选项及其失败模式。</p><h3>选择一个基线 Choosing a baseline</h3><p>在选择基线时，很容易为智能体引入不良激励措施。起始状态基线似乎是一种自然选择。但是，与起始状态的差异可能不是由智能体引起的，因此对智能体进行处罚会使其有动机干扰其环境或其他代理。为了测试这种<strong>干扰</strong>行为，我们在<a href="https://deepmind.com/blog/specifying-ai-safety-problems/">AI Safety Gridworlds</a> 框架中引入了 Convey or Belt Sushi 环境。</p><p>这个环境是一家寿司餐厅。 它包含一个传送带，在每个智能体动作后向右移动 1 个方格。 传送带上有一个寿司盘，当它到达皮带末端时被饥饿的人吃掉。 干扰行为使寿司脱离腰带（尽管没有得到奖励）。 智能体的任务是到达目标区块，可以在有或没有干扰的情况下完成。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*GK4U--Ca7uulHDKC" /></figure><p>为避免此故障模式，基线需要隔离智能体负责的工作。 一种方法是比较如果智能体从初始状态（<strong>不作为</strong>基线）开始没有做任何事情，环境就会进入的反事实状态。 然后，在传送带寿司环境中，寿司菜不会成为基线的一部分，因为人类默认会吃它。 但是，与不作为基线相比，可能会引入另一种不良行为，称为<strong>抵消</strong>。</p><p>我们在输送带环境的另一种变体 — — 输送带花瓶上说明了这种行为。 在这个变型中，皮带上的物体是一个花瓶，当它到达皮带的末端时会破裂。 智能体的任务是拯救花瓶：它将花瓶从腰带上取下来获得奖励。 <strong>抵消</strong>行为是在收集奖励后将花瓶放回腰带上。 发生这种情况是因为花瓶在不作为基线中破碎，因此一旦智能体从带上取下花瓶，它就会继续受到与基线相比的这种差异的惩罚。 因此，它有动机在收集奖励后通过打破花瓶返回基线。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*T0duXZKNvjcZ3_GZ" /></figure><p>通过将不活动基线修改为从先前状态而不是起始状态分支，可以避免此故障模式。 这是<strong>逐步不作为</strong>的基线：在智能体没有做任何事情而不是最后一次行动的环境的反事实状态。 这只会在行动得到奖励的同时对每个行为进行一次惩罚，因此不会导致抵消行为。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*NJ1t5OhQ_OSHhBSo" /></figure><h3>选择偏离度量 Choosing a deviation measure</h3><p>一种常用的偏离测量是<strong>不可达性（UR）</strong>测量：从当前状态到达基线的难度。 不可达性的折扣变体形式考虑到达到一个状态所需的时间，而未折扣的变体形式仅考虑是否可以达到该状态。</p><p>不可达性度量的一个问题是，如果智能体采取不可逆转的行动（因为基线变得无法到达），它会“最大化”。 智能体接受最大惩罚，而不受不可逆动作的大小的影响，例如： 智能体是否打破一个花瓶或一百个花瓶。 这可能导致不安全的行为，如 AI Safety Gridworlds 框架中的 Box 环境所示。</p><p>在这里，智能体需要尽快到达目标区块，但是路上有一个方框，可以推送但不能拉出。通往目标的最短路径包括将箱子向下推入角落，这是一个不可恢复的位置。所需的行为是智能体采用更长的路径将盒子推向右侧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*kMBcIR3oXSmct0dM" /></figure><p>请注意，这两个目标路径都涉及一个不可逆转的动作：如果智能体向右推动框然后将框放回，则智能体最终会在框的另一侧，因此无法达到开始位置。使开始位置无法到达类似于打破第一个花瓶，而将盒子放在角落类似于打破第二个花瓶。 副作用惩罚必须区分两条路径，较短路径的惩罚较高 — — 否则智能体没有动力避免将方框放入角落。</p><p>为了避免这种失败模式，我们引入了一个<strong>相对可达性（RR）</strong>度量，该度量对不可逆行为的大小敏感。 我们考虑所有可能状态的可达性，而不仅仅考虑基线状态的可达性。 对于每个状态，我们可以检查当前状态（智能体的行动之后）是否比从基线更难到达，并相应地惩罚智能体。 向右推动框会使某些状态无法访问，但是向下推动框会使更多状态无法访问（例如，框不在角落的所有状态），因此惩罚将更高。</p><p>最近，引入了另一种偏差测量，也避免了这种失效模式。 可达到的效用（AU）度量考虑一组奖励函数（通常随机选择）。 对于每个奖励函数，它比较代理可以从当前状态开始并从基线开始获得多少奖励，并惩罚智能体以获得两者之间的差异。 相对可达性可以被视为该度量的特殊情况，其使用基于可达性的奖励函数，如果达到某个状态则给出奖励 1，否则给出 0，假设在达到给定状态时终止。</p><p>默认情况下，RR 度量会惩罚智能体的可达性<strong>降低</strong>，而 AU 度量会对智能体实现可用性<strong>差异</strong>进行处罚。 通过分别使用绝对值函数或 0 处的截断，可以容易地修改每个度量以惩罚差异或减少。这是另一种独立的设计选择。</p><h3>设计选择的效果 Effects of the design choices</h3><p>我们将三个基线（起始状态，不作为和逐步不作为）的所有组合与三个偏差度量（UR，RR和AU）进行比较，有或没有折扣。（请注意，不包括未折扣的 AU，因为它不收敛。）我们正在寻找在所有环境中都做得很好的设计选择组合：有效地惩罚 Box 环境中的副作用，而不会在 寿司 和 花瓶 环境中引入不良激励。</p><p>On the Sushi environment, the RR and AU penalties with the starting state baseline produce interference behavior. Since the starting state is never reachable, the UR penalty is always at its maximum value. Thus it is equivalent to a movement penalty for the agent, and does not incentivize interference (arguably, for the wrong reason). Penalties with other baselines avoid interference on this environment.</p><p>在寿司环境中，RR 和 AU 对起始状态基线的处罚产生干扰行为。由于起始状态永远不可达，因此 UR 惩罚始终处于其最大值。 因此，它等同于智能体的移动的惩罚，并且不会有动机去干扰（可以说是出于错误的原因）。用其他基线的处罚可避免对此环境的干扰。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*UldzMgrZIqkt--mH" /></figure><p>在花瓶环境中，不作为基线的折扣惩罚会产生抵消行为。 由于从带子上取下花瓶是可逆的，因此没有折扣的措施不会给它带来任何惩罚，所以没有什么可以抵消的。起始状态或逐步不作为基线的处罚不会有动机抵消。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*LxMyu5NdIQdVS5P7" /></figure><p>在 Box 环境中，由于其对幅度不敏感，UR 度量会为所有基线产生副作用（将框放在角落中）。RR和AU度量催生了正确的行为。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*z-P7_PrrCvJCzEEn" /></figure><p>我们注意到干扰和抵消行为是由特定的基线选择引起的，尽管这些动机可以通过选择偏离度量来减轻。 副作用行为（将框放在角落中）是由偏离度量的选择引起的，并且不能通过选择基线来缓解。通过这种方式，偏离度量用作基线属性的过滤器。</p><p>总的来说，基线的最佳选择是逐步不作为，偏离度量的最佳选择是 RR 或 AU。 然而，这可能不是这些设计选择的最终决定，未来可以开发更好的选择或更好的实现。例如，我们当前的不作为实现等同于关闭智能体。 如果我们想象智能体在蜿蜒的道路上驾驶汽车，那么在任何时候关闭智能体的结果都是崩溃。因此，逐步不作为基线不会惩罚智能体在汽车中溢出咖啡，因为它将该结果与崩溃进行比较。 这可以通过更明智的不作为的实现来解决，例如遵守道路的故障安全规章。然而，这种故障保护很难以一般的与环境无关的方式来定义。</p><p>我们还研究了惩罚差异与可达性或可实现效用降低的影响。这不会影响这些环境的结果，除非对花瓶环境中的不作为基线进行处罚。在这里，从皮带上取下花瓶增加了可达性和可实现的效用，这可以通过差异而不是通过减少来刻画。因此，未折扣 RR 与不作为基线的差异惩罚变体会在此环境中产生抵消，而减少惩罚变体则不会。由于逐步不作为无论如何都是更好的基线，因此这种影响并不显着。</p><p>差异与减少的设计选择也会影响智能体的可中断性。 在 <a href="https://arxiv.org/abs/1902.09725">AU</a> 论文中引入的 Survival 环境中，智能体可以选择禁用关闭开关，以防止回合在智能体到达目标之前结束。 我们发现 RR 和 AU 的减少惩罚变体在这种环境中禁用了关闭开关，而差别惩罚变体没有。 然而，惩罚可达性或可实现效用的差异也具有缺点，因为这可能妨碍智能体创造理想的环境变化而不是惩罚减少的能力。</p><h3>未来方向 Future directions</h3><p>作为更广泛的人工智能安全领域的调查领域，副作用的研究直到最近才被重视。在过去的一年中看到几篇论文令人鼓舞，包括我们在这篇文章中没有涉及的一些论文。许多悬而未决的问题仍然存在，比如从将影响惩罚扩大到更复杂的环境，到发展对抵消等不良激励的理论理解。 该研究领域仍处于早期阶段，我们希望感兴趣的研究人员能够加入我们的研究过程。</p><p>制定良好的影响措施可以减轻对人工智能体的人类偏好教学的一些挑战。由于人类可能表现出不合理性或不一致的偏好，因此人类提供的数据（如演示或反馈）通常不是最理想的。 因此，智能体不可能在不对其偏见做出假设的情况下准确地学习某人的偏好。影响措施可以是一种确保可接受的智能体行为而无需充分了解人类偏好的方法。 即使智能体不知道人类的奖励功能，它也可以以保持人类偏好的状态的可达性或人类效用函数的可达性的方式行事。 这可以被认为是价值一致的简约形式。</p><p>更好地理解副作用问题可以阐明如何设计良好的<a href="https://medium.com/@deepmindsafetyresearch/understanding-agent-incentives-with-causal-influence-diagrams-7262c2512486">智能体动机措施</a>，以及我们在这样做时可能需要做出哪些权衡。 量化智能体的影响可以帮助澄清我们对安全性的概念性理解，这反过来又可以为人工智能体提供更高程度的保证。</p><p><em>Special thanks to Damien Boudot for producing the designs for this post.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1c25813835a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[利用因果影响图来理解智能体动机]]></title>
            <link>https://medium.com/@TigerScorpior/%E5%88%A9%E7%94%A8%E5%9B%A0%E6%9E%9C%E5%BD%B1%E5%93%8D%E5%9B%BE%E6%9D%A5%E7%90%86%E8%A7%A3%E6%99%BA%E8%83%BD%E4%BD%93%E5%8A%A8%E6%9C%BA-983f692e8ebc?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/983f692e8ebc</guid>
            <category><![CDATA[ai-safety]]></category>
            <category><![CDATA[deepmind]]></category>
            <category><![CDATA[universityai]]></category>
            <category><![CDATA[agi]]></category>
            <category><![CDATA[incentives]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Wed, 27 Feb 2019 17:31:52 GMT</pubDate>
            <atom:updated>2019-02-28T08:39:58.499Z</atom:updated>
            <content:encoded><![CDATA[<p>By Tom Everitt, DeepMind</p><p>Translated by Xiaohu Zhu, Founder of University AI, contact: neil@universityai.com</p><p><strong>我们在最新的</strong><a href="https://arxiv.org/abs/1902.09980"><strong>论文</strong></a><strong>中，描述了一个新的推断智能体动机的方法。该方法基于影响图，这是一种图模型的类型，包含特别的决策和效用节点。图标准可以被用来确智能体观测动机和智能体干预动机</strong></p><p>对人类来说，将智能系统考虑成希望通过采取行动达成目标的智能体。“猫回家是因为饿了想吃东西”。这个<a href="https://en.wikipedia.org/wiki/Intentional_stance">意向的概念</a>对机器学习系统同样自然。这些系统通常被训练来优化某些目标函数（如，一个<em>损失</em>或者<em>奖励函数</em>），就自然可以说他们“想要”做一些事。智能体角度可能对理解变得越来越强大和复杂的机器学习系统更加有用。</p><p>智能体的<em>目标</em>和智能体的<em>动机</em>其实可以被区分开来。目标是智能体最终优化的东西，如一个损失函数或者奖励函数。<em>目标</em>促使对优化目标会有贡献的事件<em>动机</em>出现。例如，ATARI游戏乒乓球的奖励函数促使一个将板子移向球的动机出现。对一个变分自编码器的损失函数促使产生相对高层抽象的动机出现。</p><p>动机同等地依赖于环境和目标。在一个环境中对一个目标有贡献的事件可以导致在另一个环境中的失败目标，在第三个环境中也许毫不相干。（如果球仅仅是在板子最远时候反弹会怎样？）或者动机在某种程度无法预测。例如，在视频游戏 CoastRunners 中奖励函数最终产生了一个在局部画圈而非完成比赛的结果。</p><p>为了获得对智能体动机的认知，我们必须首先描述其目标和它如何与环境交互。我们使用<a href="https://en.wikipedia.org/wiki/Influence_diagram">影响图</a>来做这件事，一种用在表达决策制定问题的图模型的良好类型。影响图中的关键概念是智能体控制<em>决策节点</em>来优化<em>效用节点</em>，同时可以用<em>机会节点</em>。一个决策节点的双亲节点表示在制定决策时可以获得什么样的信息。表示这样的<em>信息链接</em>的边使用虚线画出。我们参考下面膳食推荐的案例：</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*7t1gz4BikKHtUB923AHp0w.png" /><figcaption>系统目标是基于最近的体力活动（机会节点）通过推荐理想的卡路里摄入（决策节点）帮助用户优化自己健康（效用节点）。为了衡量体力活动，系统使用活动跟踪器来计算行走步数作为一个代理（另一个机会节点）。系统没有一个直接度量体力活动的事实由没有从体力活动到卡路里摄入的信息链接表达。</figcaption></figure><p>熟悉 MDP 的读者也可能发现下面的对 MDP 的影响图表示非常有用：</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*vX1OkDeHsd-1MNTOna8Yeg.png" /><figcaption>智能体选择行动 A1 和 A2 （决策节点）来影响状态 S1, S2 和 S3（机会节点）来优化奖励函数 R1+R2+R3（效用节点）。稳定策略是仅仅允许基于当前状态的决策，使用在当前状态是每个行动的双亲节点表示。注意影响图表示不同于 MDP 的状态迁移图，其每个时间步有一个节点，而不是每个状态有一个节点。</figcaption></figure><p>我们的论文解决了两个关于智能体动机影响图的基本问题：智能体<strong>想要观察</strong>哪个节点和想要影响哪个节点？对这两个问题，我们构建了图标准，使得智能体动机可以直接从影响图进行推断。我们的希望是这些图的标准将让研究智能体动机更加简单和系统化。</p><p>为了解释第一个问题 — — 观察动机，让我们回到优化用户健康的膳食推荐系统案例。为了让它更加有趣，我们加入一个步行距离估计的节点，仅仅基于步数统计（估计步行距离 = 步数 × 0.8m）。这就得到下面的影响图：</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*nbCsXod05fGcOzqA" /></figure><p>面对一个观察动机的节点使用蓝色点圈表示。为了理解是否存在对一个节点的观察动机，我们需要考虑它是否对系统目标有信息提供。直接观察生理活动是有用的，所以我们将其标记为蓝色。但是因为直接观擦体力活动是不可能的（没有从体力活动到卡路里摄入的链接），步数统计可以发挥代理的作用。我们就把它同样标记为蓝色。相反，对估计的行走距离没有什么用，因为它不包含步数统计之外任何新的信息。</p><p>论文中的第一个主要定理为基于 d-separation 标准建立了一个关于观察动机的图标准。换言之，定理让根据论文提出的准确推理步骤从影响图来确定一个智能体观察动机变为可能。</p><h3>Intervention incentives 干预动机</h3><p>一个相关问题是智能体想要去<strong>影响</strong>哪些节点。我们形式化地将影响节点解释成改变节点的条件概率分布。这也有时被称作<a href="https://www.jstor.org/stable/10.1086/525638?seq=1#page_scan_tab_contents">软干预</a>。为了研究<strong>对（软）干预的动机</strong>，我们给箭头一个因果解释（如在<a href="https://en.wikipedia.org/wiki/Causal_graph">因果图</a>中那样）。</p><p>干预节点有两个可能原因：一个是<em>控制</em>效用节点，另一个是在决策之前获得<em>更好的信息</em>。我们会将处于第一类动机的节点标记为虚线红色，而另一类则为虚线绿色。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*PTOCMvLcXvno9UmC" /></figure><p>再次回到膳食推荐系统的案例，我们现在为健康跟踪器固件和计算估计步行距离的公式加入了显式的节点。首先，对系统干预最终的健康和改变过去完成的体力活动的量都有用。这些是对于控制的干预动机，使用虚线红色表示。如果控制体力活动或者健康是不可能达到的，那么对于让步数对体力活动更有信息也是有用的，这对健康跟踪器固件的一次升级就可以达成。这些对于获取更好信息的干预动机使用虚线绿色表示。而，由于没有对估计步行距离的观察动机，就没有加入改变计算的公式的需要。</p><p>我们论文的第二个主要定理是构建了对一个干预动机的图标准，可以让我们确定在任何影响图中哪些节点面对干预动机。首先，它将来自没有观察动机的观察节点信息链接切断。一旦完成，存在节点 X 上的干预动机当且仅当从 X 到效用节点 U 有一条有向路径。对 X 的一个干预动机是用于控制还是获得更好的信息同样可以从图模型标准确定（大概是从 X 到 U 的路径是否经过智能体的行动）。因为可能会有几条路径，所以类型不是互斥的。</p><p>干预和观察动机之间的显著不同可以在一个有已知的概率迁移信息的 MDP 中看出。这里通常对干预和改变第一个状态有用，但是 Markov 假设意味着观察开始状态没有什么用。那些有观察动机没有干预动机的情况也会出现。例如，如果变脏的运动衣物可以作为体力活动的副作用，那么这就可以成为体力活动的补充代理，是一个有用的观察。但是干预和让衣服变脏对提升个人健康并没有什么用。</p><h3>应用于 QA 系统</h3><p>作为一个应用，我们可以研究 QA系统的干预动机。纯 QA系统相比直接和世界交互的智能体<a href="https://link.springer.com/article/10.1007/s11023-012-9282-2">有一些安全性优势</a>。特别地，我们可以构建 QA 系统不需要针对长期目标进行优化，仅仅会通过回答来影响世界。一个对 QA 系统的安全性考虑是：假设我们问自己的 QA 系统关于特定的股票一周后的价格。那么答案会影响世界，因为任何知道 QA 系统答案的人会用于自己的交易决策。这个效果可能足够让答案错误，即使答案曾是正确的不过没有人听过。更令人担忧的是，答案可能也会成为一个 <em>self-fulfilling prophecy。</em>一个受人尊敬的 QA 系统预测一个公司的破产可能会让公司破产如果预测使得投资人或者其他股东失去对其的信心。</p><p>QA 系统设置可以由下面的影响图描述：</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*PPkXSTfSrSnTiIenQ-SorQ.png" /></figure><p>对给定查询，QA系统奖励依赖于答案是否正确。在人们读取答案时，答案同样会影响世界状态。答案的正确性取决于查询和得到的世界状态。我们的干预动机定理推出一个世界状态干预-动机。就是说，QA 系统被给予影响世界状态的动机，例如通过一个 <em>self-fulfilling prophecy。</em>这是不幸的，因为主要的安全性利益之一是他们对世界状态的受限的影响，这可能最终比简单参与更少受限。</p><p><a href="https://arxiv.org/abs/1711.05541">反事实神谕</a>已经被当作对此问题的解决方法。其工作原理如下。在提交查询后，抛硬币来确定使用神喻的模式：</p><ul><li><em>Read mode</em>: 读取答案，设置QA系统奖励为 0 而不管答案正确与否</li><li><em>Reward mode</em>: 避免读取答案。一旦正确答案已知（一周后股价），将此正确的答案交给一个比对 QA系统答案和正确答案的设备。设备根据答案是否正确奖励 QA 系统 -1 或者 1</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*6L5yNYCpdSuNVigVArqhpw.png" /></figure><p>我们可以使用上面的影响图来理解这个过程的效果：</p><ul><li>在 <em>read mode</em> 下，所有指向奖励的箭头被切断，因为奖励始终为 0。这就移除了对世界状态的干预动机</li><li>在 <em>reward mode</em> 下, 从答案到世界状态的箭头被切断，因为没有一个人读取答案。尽管QA系统影响世界状态的动机存在，但是QA系统不再拥有途径完成。</li></ul><p>换言之，通过随机改变读取答案和奖励 QA系统，我们可以确保不管 QA系统是否有影响世界的动机，它都缺乏改变的能力。</p><h3>Conclusions</h3><p>很多已经在<a href="https://arxiv.org/pdf/1805.01109.pdf">文献</a>中讨论过的AI 安全性问题本质上动机问题。案例包括<a href="https://intelligence.org/files/Corrigibility.pdf">corrigibility</a>, <a href="https://www.fhi.ox.ac.uk/wp-content/uploads/Interruptibility.pdf">interruptibility</a>, <a href="https://arxiv.org/abs/1611.08219">off-switch integrity</a>, <a href="http://www.tomeveritt.se/papers/alignment.pdf">reward tampering</a>, <a href="https://arxiv.org/abs/1711.09883">reward gaming,</a> <a href="https://arxiv.org/abs/1605.03142">utility function corruption</a>, <a href="https://link.springer.com/article/10.1007/s11023-012-9282-2">QA-system incentives</a>, <a href="https://arxiv.org/abs/1806.01186">side effects</a>, 和 <a href="https://arxiv.org/abs/1707.08476">boxing/containment</a>.</p><p>影响图是一个研究智能体动机的良好开端。图模型提供了一个灵活，准确和直觉语言来同步表示智能体目标和智能体-环境交互。因此，使用本文给出的方法，就有可能从影响图中推断出关于智能体动机的重要方面信息。我们希望这些方法将对更加系统化理解智能体动机，并加深我们对动机问题和解决方案的理解发挥作用。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=983f692e8ebc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[基于奖励建模的可扩展智能体对齐]]></title>
            <link>https://medium.com/@TigerScorpior/%E5%9F%BA%E4%BA%8E%E5%A5%96%E5%8A%B1%E5%BB%BA%E6%A8%A1%E7%9A%84%E5%8F%AF%E6%89%A9%E5%B1%95%E6%99%BA%E8%83%BD%E4%BD%93%E5%AF%B9%E9%BD%90-237cd29c40a4?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/237cd29c40a4</guid>
            <category><![CDATA[reinforcement-learning]]></category>
            <category><![CDATA[deepmind]]></category>
            <category><![CDATA[ai-safety]]></category>
            <category><![CDATA[agi]]></category>
            <category><![CDATA[universityai]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Wed, 21 Nov 2018 07:43:48 GMT</pubDate>
            <atom:updated>2018-11-22T07:17:28.188Z</atom:updated>
            <content:encoded><![CDATA[<p><strong># Scalable agent alignment via reward modeling</strong></p><p>By Jan Leike, DeepMind</p><p>Translated by Xiaohu Zhu, Founder of University AI, contact: neil@universityai.com</p><p><strong><em>本文给出了一个新的研究</em></strong><a href="https://arxiv.org/abs/1811.07871"><strong><em>论文</em></strong></a><strong><em>综述，描述了解决智能体对齐问题研究方向的概况。我们的方法建立在递归应用奖励建模按照对齐用户意图的方式来解决复杂的真实世界问题。</em></strong></p><p>近些年来，强化学习已经在复杂博弈（游戏）环境中取得了令人印象深刻的表现，从 Atari、Go 和 Chess 到 Dota2 和 Starcraft II，人工智能体快速在越来越复杂的领域中超过人类玩家水平。游戏是开发和测试机器学习算法的理想平台。它们所给出的挑战性任务涉及从认知能力到完成、复制在真实世界中解决问题的技巧。机器学习研究者们可以在云上并行地运行成千个模拟实验，生成足够多满足系统学习的训练数据。</p><p>最关键的是，游戏通常有一个清晰的目标和近似地达成目标过程的分数。这个分数提供了有用的奖励信号给强化学习智能体，让我们可以快速获得关于更好的算法和架构的反馈。</p><h3><strong>对齐问题 </strong>The agent alignment problem</h3><p>人工智能的终极目标是赋予我们处理真实世界中越来越复杂的挑战的能力而造福于人类。但是<strong>真实世界并没有内置好的奖励函数</strong>。这就给出了一些挑战性问题，因为在这些任务上的性能并不容易定义清楚。我们需要一种良好的方式提供反馈并让智能体可靠地理解我们所想要的东西，从而帮助我们达成这些目标。换言之，我们希望在有人类反馈的情形下以一种<em>让系统行为和我们的意图对齐的方式</em>来训练人工智能系统。针对该目的，定义<strong>智能体对齐问题</strong>如下：</p><blockquote>如何创建行为与用户意图一致的智能体？</blockquote><p>对齐问题可以被建构在强化学习框架中，需要调整的是，不接受数值<em>奖励信号</em>，而是通过交互协议允许用户与智能体交流他们的意图。这个协议可以采取多种形式：用户可以提供 展示 <a href="https://en.wikipedia.org/wiki/Apprenticeship_learning">demonstrations</a>, 偏好<a href="http://www.jmlr.org/papers/v18/16-634.html">preferences</a>, 最优行动<a href="http://papers.nips.cc/paper/5187-policy-shaping-integrating-human-feedback-with-reinforcement-learning">optimal actions</a>, 或者交流奖励函数 <a href="https://arxiv.org/abs/1711.02827">communicate a reward function</a>。<strong>智能体对齐问题的解决方案是一个根据用户意图行动的策略。</strong></p><p>在论文 <a href="https://arxiv.org/abs/1811.07871"><strong>new paper</strong></a> 中，我们描述了一个处理智能体对齐问题的研究方向。基于我们先前对人工智能安全性问题的分类和在人工智能安全性上的显现的诸多问题，我们描绘了一个这些领域的进程将如何产生出对于智能体对齐问题的解的连贯的图景。这打开了构建更好地理解如何与用户交互、从用户反馈学习和预测用户偏好的系统大门，不仅仅在是狭义的、近期的简单领域，更是在长期的那些需要的超过人类水平的理解的更加复杂抽象的领域。</p><h3>基于奖励建模的对齐 Alignment via reward modeling</h3><p>该研究方向的主要驱动力是基于奖励建模：我们使用用户的反馈训练一个奖励模型来刻画他们的意图。同时，也使用强化学习训练一个策略最大化来自奖励模型的奖励。换言之，我们将学习划分成学习做什么（奖励模型）和学习如何做（策略）两个部分。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*ohMEZfpJpof6vZ8s" /><figcaption>奖励建模的模式解析：奖励模型从用户的反馈中训练获得来刻画他们的意图；该奖励模型提供了给由强化学习训练出的智能体奖励。</figcaption></figure><p>例如，在先前的工作中我们教会智能体从用户偏好中做后空翻，使用目标状态样例来摆放物品，从用户偏好和专家展示玩Atari游戏。未来我们希望涉及出算法学会适应用户提供反馈的方式（如，使用自然语言）。</p><h3>规模化 Scaling up</h3><p>最终，我们希望能规模化奖励建模到那些对于人类来说直接评判也太过复杂的领域中。为了达成该目的，需要提升用户评判结果的能力。我们讨论如何让奖励建模递归地应用：可以使用奖励建模训练智能体在评价过程中自动帮助用户评判。如果评价比行为更容易，那么这就可以让我们从简单的任务提升到更加一般和复杂的任务上。这可以被看作是迭代扩增的实例。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*gyLZOrKtnKJhACPA" /><figcaption>递归奖励建模的模式解析：用递归奖励模型（右侧小圆圈）训练的智能体在由当前训练的智能体产生的结果评判过程中（大圆圈）帮助用户</figcaption></figure><p>例如，假想我们想要训练一个智能体来设计计算机芯片。为了评判一个给出的芯片设计，我们训练其他的助手智能体，使用奖励建模在模拟中来做芯片性能基准测试、计算散热、估计芯片生命周期、尝试找出安全薄弱环节等等。总之，这些助手智能体的输出提供给出芯片设计的评判过程帮助用户训练芯片设计智能体。尽管每个助手智能体必须解决那些超出现有机器学习系统能力的非常困难的任务，这些任务相比直接设计出一个芯片更加容易：设计一个计算机芯片你需要理解每个评判任务，但反过来却容易一些。从这点上看，递归奖励建模可以帮助我们设计智能体脚手架在解决越来越难的任务同时能和用户 意图对齐。</p><h3>研究挑战 Research challenges</h3><p>还有一些规模化奖励建模到这样复杂问题的需要被解决的挑战。列出了5个挑战及相应解决思路，在论文中有更深入的讨论。</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*fhS-SQx1upYjxhaL" /><figcaption>在规模化奖励建模过程中遇到的挑战（左）和解决这些挑战的有前景的方法（右）</figcaption></figure><p>这就带给我们最终重要的智能体对齐的组成部分：当在真实环境中部署智能体时，我们需要提供证据给用户，我们的智能体确实是充分对齐的。该论文讨论了5个不同研究方向帮助提升对智能体的<strong>信任</strong>：设计选择、测试、可解释性、形式验证和理论保证。一个远大的目标是<strong>安全性证书</strong>的制造：可以被证明负责任的技术发展和给用户信赖训练出的智能体的信心的材料。</p><h3><strong>展望 Outlook</strong></h3><p>尽管我们相信递归奖励建模是一个对训练对齐的智能体非常有前景的方向，但当前我们并不清楚地知道规模化表现有多么好（需要有更多的研究！）幸运的是，现在已经有了另外的一些针对智能体对齐问题的研究在同步推进：</p><ul><li><a href="https://en.wikipedia.org/wiki/Apprenticeship_learning">Imitation learning</a></li><li><a href="http://www.cs.utexas.edu/~bradknox/TAMER.html">Myopic reinforcement learning</a></li><li><a href="http://ftp.cs.berkeley.edu/~russell/papers/colt98-uncertainty.pdf">Inverse reinforcement learning</a></li><li><a href="https://arxiv.org/abs/1606.03137">Cooperative inverse reinforcement learning</a></li><li><a href="https://arxiv.org/abs/1810.08575">Iterated amplification</a></li><li><a href="https://arxiv.org/abs/1805.00899">Debate</a></li><li><a href="https://intelligence.org/files/TechnicalAgenda.pdf">Agent foundations</a></li></ul><p>他们的相同点和不同点都在论文中进行了深入探讨。</p><p>就像计算机视觉系统的关于对抗样本的健壮性研究对机器学习应用非常关键那样，对齐问题研究将会成为一把打开在复杂真实世界领域中部署机器学习系统的瓶颈之门的“钥匙”。我们有理由对此保持乐观：当我们期望面对规模化奖励建模时的挑战时，这些挑战其实都是可以 取得进展的具体技术研究问题。从这个意义上讲，我们的研究方向已经准备就绪，可以用深层强化学习代理进行实证研究。</p><p>在这些研究问题上取得进展是DeepMind正在进行的工作的主题。如果您是研究员、工程师或有才华的通才，有兴趣加入我们，请查看我们的空缺职位<a href="https://deepmind.com/careers/"><strong>open positions</strong></a>，并在申请时注意您对对齐问题研究的兴趣。</p><p>Thanks to David Krueger, Tom Everitt, Miljan Martic, Vishal Maini, Shane Legg, and many others at DeepMind, OpenAI, and the Future of Humanity Institute who contributed to this effort.</p><h3>相关文章 Related articles</h3><ul><li><a href="https://medium.com/@TigerScorpior/%E6%9E%84%E5%BB%BA%E5%AE%89%E5%85%A8%E7%9A%84ai-%E8%A7%84%E6%A0%BC-%E5%81%A5%E5%A3%AE%E6%80%A7%E5%8F%8A%E4%BF%9D%E9%99%A9%E6%9C%BA%E5%88%B6-b82d786e73ea">构建安全的AI：规格、健壮性及保险机制</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=237cd29c40a4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[构建安全的AI：规格、健壮性及保险机制]]></title>
            <link>https://medium.com/@TigerScorpior/%E6%9E%84%E5%BB%BA%E5%AE%89%E5%85%A8%E7%9A%84ai-%E8%A7%84%E6%A0%BC-%E5%81%A5%E5%A3%AE%E6%80%A7%E5%8F%8A%E4%BF%9D%E9%99%A9%E6%9C%BA%E5%88%B6-b82d786e73ea?source=rss-296b269ccccb------2</link>
            <guid isPermaLink="false">https://medium.com/p/b82d786e73ea</guid>
            <category><![CDATA[safety]]></category>
            <category><![CDATA[deepmind]]></category>
            <category><![CDATA[universityai]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[openai]]></category>
            <dc:creator><![CDATA[Xiaohu ZHU]]></dc:creator>
            <pubDate>Fri, 28 Sep 2018 16:32:58 GMT</pubDate>
            <atom:updated>2018-09-30T16:20:43.700Z</atom:updated>
            <content:encoded><![CDATA[<p><em>By Pedro A. Ortega, Vishal Maini, and the DeepMind safety team</em></p><p><em>Translated by Xiaohu Zhu and University AI safety team</em></p><p>建造一枚火箭很难。每个部件需要仔细斟酌和严格测试，而安全性和可靠性是设计的核心。火箭科学家和工程师共同设计从导航路径到控制系统，引擎和起落架的每个部件。一旦所有部分组装起来，系统测试完，我们就可以足够信心让宇航员登上火箭。</p><p>如果人工智能是一个火箭，那么我们将会在某天都拿到登机票。并且，就像在火箭上一样，安全性毫无疑问是人工智能系统的关键构成部分。确保安全性需要从基础开始仔细设计系统来保证不同部件能够按照设定工作，同时开发所有必要装置来监视系统在部署后的成功操作。</p><p>从高层次看，在 DeepMind 进行的安全性研究聚焦在设计出按照预想方式工作的同时发现和减少可能的近期和长期风险的系统。<strong>人工智能技术安全性</strong>是相对初期但是快速成长的研究领域，包括从高层及理论到实验及具体的内容。本文目标是推进该领域的发展，鼓励实质性参与技术想法的讨论，这样来提升对人工智能安全性的集体理解。</p><p>在这个启动文章中，我们讨论人工智能技术安全性的三个领域：<strong>规格</strong>、<strong>健壮性</strong>和<strong>保险机制</strong>。未来的文章将会更全面填充这里提出的框架。尽管我们观点的演变会不可避免，但我们认为这三个领域涵盖了充分宽广的内容，给出了一种对正在进行和未来研究内容的有用归类。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*NgnhLhPf1ywocGzDp2dfBQ.png" /><figcaption>人工智能安全性问题的三个领域。每个框强调了某个代表性挑战和方法。这三个领域不是割裂的，而是在某种程度上有所交互。尤其，一个给定特定安全性问题可能会需要用到其他方面的问题解决方法。</figcaption></figure><h3>规格：定义系统的目的</h3><blockquote><strong><em>规格</em></strong><em>确保一个人工智能系统行为与操作者真实意图相符合。</em></blockquote><p>你可能熟悉 King Midas 的故事和点石成金。古希腊神承诺 Midas 他可以得到自己希望要的任何奖赏，作为该国王对 Dionysus 的朋友展示出来的友善和慷慨的感激。作为回应，Midas 说我希望所有的触摸的东西都变成金子。他对自己的新技能非常满意：一个橡树枝、一个石头，花园中玫瑰都在他的触碰被变成黄金了。但很快他发现这个愿望的愚蠢之处了：甚至食物和饮品都变成金子的了。在某些版本中，甚至他女儿也成了这个诅咒的受害者。</p><p>这个故事解释了规格这个问题：如何描述我们想要的？规格的挑战就是确保一个人工智能系统行为按照设计者真实想法进行，而不是优化一个缺少考虑制定的目标或者错误的目标。严格地说，我们区分如下三种规格：</p><ul><li>理想规格（ideal specification）（愿望 wishes），对应于一个理想人工智能系统的假设描述（很难清楚）与人类操作者目的完全对齐</li><li>设计规格（design specification）（蓝图 blueprint），对应于我们实际使用构建人工智能系统的规格，如：强化学习系统最大化的奖励函数</li><li>显示规格（revealed specification）（行为 behaviour），这是最佳描述实际发生情况的规格，如：使用逆强化学习从观察系统行为逆向工程得到的奖励函数。这不同于由人类操作者提供的规格，因为人工智能系统不是最优优化器或者其他设计规格不可见后果。</li></ul><p>一个<strong>规格问题</strong>当<strong>理想规格</strong>和<strong>显示规格</strong>出现不匹配时出现，即，当人工智能系统不去做我们希望它做的事情的时候。对人工智能技术安全性的规格问题的研究提出这个问题：如何设计更具原理性和通用性的目标函数，帮助智能体弄清楚目标什么时候错误指定的？导致理想规格和设计规格不匹配的问题出现在上面分类的设计（design）子类别中，而导致设计和显示规格的不匹配则是新生（emergent）子类别中。</p><p>例如，在我们的 <a href="https://arxiv.org/abs/1711.09883">AI Safety Gridworlds</a>* 论文中，我们给予智能体需要优化的奖励函数，但是然后用对智能体隐藏的安全性性能函数进行实际行为的评测。这个设定对上面的区别进行了建模：安全性性能函数是理想规格，被不完美地设定成一个奖励函数（设计规格），然后由产生一个通过他们得到的策略进行的显示规格的智能体实现。</p><p><strong>注意</strong>: <em>在我们 </em><a href="https://arxiv.org/abs/1711.09883"><em>AI Safety Gridworlds</em></a><em> 论文里，我们给出了和本文介绍的对规格和健壮性问题不同的定义</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*Ag44nEs4oT68qX-sylbSZg.gif" /><figcaption>来自 OpenAI 的 <a href="https://blog.openai.com/faulty-reward-functions/">Faulty Reward Functions in the Wild</a> : 强化学习智能体发现了不曾预见的策略来达到更高分数</figcaption></figure><p>作为另一个案例，考虑汽艇大赛游戏 CoastRunners，见上图，这是由我们 OpenAI 的同事分析的。对大多数人来说，这个游戏的目标是快速抵达终点，并超过其他玩家 — — 这其实是理想规格。然而，将这个目标转译成一个精确的奖励函数非常困难，所以，CoastRunners 奖励玩家（设计规格）撞击航道上的目标。使用强化学习训练一个玩家产生了一个令人诧异的行为：智能体绕圈驾驶来获得重新出现的目标而出现重复碰擦着火而不是完成比赛。从这个行为，我们推断（显示规格）游戏在短期绕圈奖励和完全圈奖励之间的平衡某些地方出错了。还有<a href="https://docs.google.com/spreadsheets/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml">更多案例</a> 跟此处类似找到了目标规格的漏洞。</p><h3>健壮性：设计可以抗扰动的系统</h3><blockquote><em>健壮性确保人工智能系统在扰动下持续在安全范围内操作</em></blockquote><p>在人工智能系统工作的真实场景设定中存在风险、不可预测和波动性。人工智能系统必须对会损伤和操纵这样的系统的未见事件和对抗攻击有抵抗力。对人工智能系统的健壮性的研究聚焦于确保我们的智能体不管处于什么条件下都在安全限度中。这是可以通过避免风险（<strong>阻止</strong> prevention）或者自我稳定和雅性降解（<strong>恢复</strong> recovery）。由<strong>分布漂移</strong>（distributional shift）、<strong>对抗输入</strong>（Adversarial inputs）和<strong>不安全探索</strong>（unsafe exploration）导致的安全性问题可以被分类成健壮性问题。</p><p>为了解释 <strong>分布漂移</strong> 的挑战，考虑一个家庭清理机器人的典型无宠物环境的场景。机器人被部署到有宠物的办公室了，在清理过程中遇到了一只宠物。这个机器人从来没有见过一只宠物，所以直接为宠物上肥皂清洗，导致不想要的后果了 (<a href="https://arxiv.org/pdf/1606.06565v1.pdf">Amodei and Olah et al., 2016</a>)。这是一个健壮性问题的例子，出现在测试时遇到的数据分布从训练时的分布漂移。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o6z1jz29mcfdEblvj5ynKQ.gif" /><figcaption>来自 <a href="https://deepmind.com/blog/specifying-ai-safety-problems/"><em>AI Safety Gridworlds</em></a>。在训练期间，智能体学会避开红色熔岩；但是当我们在熔岩位置发生变化的新情况下进行测试时，它无法泛化并直接进入熔岩。</figcaption></figure><p><strong>对抗输入</strong>是分布漂移的特例，其中人工智能系统的输入被设计为通过特定设计的输入来欺骗系统。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*Sv9EbGC0ioSgq9A6hNatKQ.png" /><figcaption>一个对抗输入，覆盖在一幅图片上，可以导致分类器将一个树懒误分类成赛车了。两幅图像只是在每个像素上有至多 0.0078 差。第一幅以超过 99%的几率分类为树懒，第二幅则是以 99% 几率分类成赛车。</figcaption></figure><p><strong>不安全探索</strong>是从不考虑它在环境中学习和探索时不在探索时违背的安全性保证下最大化其性能和达到目标的系统诞生。一个例子就是家庭清理机器人在学习最优清理策略的时候将湿拖把放在插座上 (<a href="http://www.jmlr.org/papers/volume16/garcia15a/garcia15a.pdf">García and Fernández, 2015</a>; <a href="https://arxiv.org/pdf/1606.06565.pdf">Amodei and Olah et al., 2016</a>).</p><h3>保险机制：监控和控制系统活动</h3><blockquote><strong><em>保险机制</em></strong><em>确保我们在操作过程中可以理解和控制人工智能系统</em></blockquote><p>尽管仔细的安全性工程可以排除很多安全性风险，但是从开始就全部正确是很难的。一旦人工智能系统被部署，我们需要工具来连续地监控并调整它们。我们最后的类别，<strong>保险机制</strong>从两个角度（<strong>监控 monitoring</strong>和<strong>强制 enforcing</strong>）解决这些问题。</p><p><strong>监控</strong>包含所有查看系统的方法来分析和预测他们的行为，通过人类查看（总结统计信息）和自动查看（扫描大量的活动记录）。<strong>强制</strong>，则是包含设计控制和限制系统的行为的机制。诸如<strong>可解释性 interpretability</strong>和<strong>可终端性 interpretability</strong>这样的问题分别对应于监控和强制。</p><p>人工智能系统从两个方面不太像人类：构成和处理数据的方式。这导出了可解释性问题；非常良好的设计度量工具和协议可以去评测人工智能系统的决策质量 (<a href="https://arxiv.org/abs/1702.08608">Doshi-Velez and Kim, 2017</a>)。例如，一个医疗智能系统理想情况是产生一个诊断并带有一个它如何得到结论的解释。这样医生可以在核准前查看这个推理过程 (<a href="https://www.nature.com/articles/s41591-018-0107-6">De Fauw et al., 2018</a>)。另外，为了理解更为复杂的人工智能系统我们可能甚至需要引入自动方法使用 <strong>Machine theory of mind</strong> (<a href="https://arxiv.org/abs/1802.07740">Rabinowitz et al., 2018</a>) 来构建行为的模型。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/519/1*ZRMN86k_wBACUMthlrFbJg.png" /><figcaption>ToMNet discovers two subspecies of agents and predicts their behaviour (from “<a href="https://arxiv.org/abs/1802.07740">Machine Theory of Mind</a>”)</figcaption></figure><p>最后，我们想要能够在必需时候关闭人工智能系统。这就是可中断性问题。设计看一个可以来的关闭开关是非常有挑战性的：例如，因为奖励最大化人工智能系统一般有很强的动机去阻止这个发生 (<a href="https://www.ijcai.org/proceedings/2017/0032.pdf">Hadfield-Menell et al., 2017</a>)；并且因为这样的中断，尤其是频繁发生时，最终会改变原始任务，使得人工智能系统得出错误的结论 (<a href="http://www.auai.org/uai2016/proceedings/papers/68.pdf">Orseau and Armstrong, 2016</a>)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/585/1*a7l9DwFki7ODgu8t_gp3PA.png" /><figcaption>带有中断的问题：人类干涉 (如按下停止按钮)可以改变任务。在途中，中断给 MDP 加上了一个红色的转移改变了黑色的原任务. 参考 <a href="http://auai.org/uai2016/proceedings/papers/68.pdf">Orseau and Armstrong, 2016</a>.</figcaption></figure><h3>展望未来</h3><p>我们在构建技术基础将会对很多重要的应用很有帮助。值得注意的是，当技术被广泛使用时，在部署时对安全至关重要的设计决策仍然会产生很大的影响。尽管当时方便，一旦这些设计选择已经被不可逆地集成到重要的系统中了，我们可能会发现他们导致不完全重设计无法解决的问题。</p><p>程序设计发展中两个例子包括空指针 — — Tony Hoare 将其作为<a href="https://www.infoq.com/presentations/Null-References-The-Billion-Dollar-Mistake-Tony-Hoare">十亿美元错误</a> 和 C 语言中的 gets() 例程。如果早期程序设计语言在设计时考虑了安全性，那么发展过程可能是更慢但是计算机安全性可能会处在更加强的位置。</p><p>有了仔细考虑和规划，我们可以避免产生类似问题和漏洞。我们希望本文的分类会成为按照这种方式进行方法论规划的有用的框架。我们的目标是确保未来人工智能系统不仅仅希望安全，而是健壮的，可验证的安全 — — 因为我们按照这样的方式构建了它们！</p><p>我们希望看到在这些领域中与更宽泛的人工智能社区紧密合作持续产生令人兴奋的贡献，并且我们鼓励来自各个学科的个人考虑进入或者为人工智能安全性研究做出贡献。</p><p><strong>如果你对和我们在本文中给出的领域中共同工作，我们正在招募！查看这里[</strong><a href="https://deepmind.com/careers/"><strong>https://deepmind.com/careers/</strong></a><strong>*](</strong><a href="https://deepmind.com/careers/"><strong>https://deepmind.com/careers/</strong></a><strong>) * 在申请时候注明自己的兴趣。我们很高兴听取研究者和非研究人员的意见。</strong></p><p>下面列出了其他文章、议程和分类，这些内容代表了关于人工智能技术安全性问题我们的思考或者给出了有用的另外的观点：</p><ul><li><a href="http://humancompatible.ai/publications">Annotated bibliography of recommended materials</a> (Center for Human-Compatible AI, 2018)</li><li><a href="http://inst.eecs.berkeley.edu/~cs294-149/fa18/">Safety and Control for Artificial General Intelligence</a> (UC Berkeley, 2018)</li><li><a href="https://vkrakovna.wordpress.com/ai-safety-resources/">AI Safety Resources</a> (Victoria Krakovna, 2018)</li><li><a href="https://arxiv.org/abs/1805.01109">AGI Safety Literature Review</a> (Everitt et al., 2018)</li><li><a href="https://arxiv.org/abs/1802.07228">Preparing for Malicious Uses of AI</a> (2018)</li><li><a href="https://docs.google.com/spreadsheets/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml">Specification gaming examples in AI</a> (Victoria Krakovna, 2018)</li><li><a href="https://ai-alignment.com/directions-and-desiderata-for-ai-control-b60fca0da8f4">Directions and desiderata for AI alignment</a> (Paul Christiano, 2017)</li><li><a href="https://docs.google.com/document/d/1NIg4OnQyhWGR01fMVTcxpz8jDd68JdDIyQb0ZZyB-go/edit#heading=h.flzp2soeor4i">Funding for Alignment Research</a> (Paul Christiano, 2017)</li><li><a href="https://intelligence.org/files/TechnicalAgenda.pdf">Agent Foundations for Aligning Machine Intelligence with Human Interests: A Technical Research Agenda</a> (Machine Intelligence Research Institute, 2017)</li><li><a href="https://arxiv.org/abs/1711.09883">AI Safety Gridworlds</a> (Leike et al., 2017)</li><li><a href="https://futureoflife.org/wp-content/uploads/2017/01/Nick_Bostrom.pdf?x17807">Interactions between the AI Control Problem and the Governance Problem</a>(Nick Bostrom, 2017)</li><li><a href="https://intelligence.org/files/AlignmentMachineLearning.pdf">Alignment for Advanced Machine Learning Systems</a> (Machine Intelligence Research Institute, 2017)</li><li><a href="https://agentfoundations.org/item?id=1388">AI safety: three human problems and one AI issue</a> (Stuart Armstrong, 2017)</li><li><a href="https://arxiv.org/abs/1606.06565">Concrete Problems in AI Safety</a> (Dario Amodei et al, 2016)</li><li><a href="https://intelligence.org/files/ValueLearningProblem.pdf">The Value Learning Problem</a> (Machine Intelligence Research Institute, 2016)</li><li><a href="https://futureoflife.org/data/documents/research_survey.pdf">A survey of research questions for robust and beneficial AI</a> (Future of Life Institute, 2015)</li><li><a href="https://futureoflife.org/data/documents/research_priorities.pdf">Research Priorities for Robust and Beneficial Artificial Intelligence</a> (Future of Life Institute, 2015)</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b82d786e73ea" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>