社交机器人辅助ADHD治疗

社交辅助机器人技术结合人工智能用于注意力缺陷多动障碍

一、INTRODUCTION

社交辅助机器人技术（SAR）[1]旨在通过自动化监督、指导、激励以及陪伴功能，应对医疗护理中的关键领域，服务对象包括来自多个不断增长群体的弱势个体，例如中风幸存者、痴呆或阿尔茨海默病患者、自闭症谱系障碍（ASD）儿童等。SAR的目标是通过提供日常使用服务、治疗支持以及借助持续监测和互动实现个体诊断的方式，改善这些个体的生活质量。这将实现持续的、纵向的客观观察，并进行分析与评估。在教育和儿童保育领域，SAR已成功应用于帮助糖尿病儿童[2]、协助教师讲故事[3]、以及辅助家长进行家庭教育[4]。

在临床环境中，贝兰等人[5]引入了一种小型人形机器人用于流感疫苗接种。在另一项研究[6]中，展示了人机交互如何作为儿科护理的一种手段。机器人还具有克服与计算机使用相关联的儿童身体活动不足和孤立问题的优势，因为它们能促使儿童参与互动，鼓励运动[8]。最近的研究还表明，人形机器人可以成功应用于物理康复。事实上，在康复过程中激励儿童至关重要，因为物理治疗会话包含重复性任务[9]。单调的动作会导致儿童行为表现下降，原因是注意力降低。此外，重复会减少对当前活动的专注以及对重复练习的动机。因此，游戏是儿童以更自然的方式沟通和表达自己的具体方式[10]，如果儿童将机器人视为玩伴，则其参与活动的动机可能会提高。当前社交辅助机器人研究的主要应用领域之一是在临床环境中针对患有行为障碍的儿童。通常，行为障碍的问题涉及孤立的事件或敏感且暂时的发育阶段。然而，在某些情况下，它们可能预示着后续心理病理障碍的发生。必须调查儿童的心理和人际关系方面，以防止出现更大的问题。行为障碍可能包括注意力/多动障碍（ADHD）、对立违抗障碍（OD）或品行障碍（CD）[16]。特别是注意力缺陷多动障碍（ADHD），一种以注意力不集中、多动和冲动为特征的神经发育障碍，近年来引起了广泛的研究关注[21, 22]。

此外，已知工作记忆缺陷是ADHD的主要因素之一[22]。注意力缺陷多动障碍是儿童最常见的行为障碍之一[23]。为了制定有效的干预策略，必须仔细观察这种行为，以便充分理解其成因并确定最合适的资源加以部署。由于存在社交和沟通技能方面的缺陷，患有注意力缺陷的儿童常常难以管理自己的情绪。治疗师经常难以与这些儿童沟通，因为人类的表情非常丰富，而且语调也不恒定，这会影响儿童是否感到舒适的感受。同样，在游戏情境中，普通玩具往往无法激发这些儿童的反应和参与度。

我们与诊断与治疗中心合作进行的情境分析促使我们深入探讨采用社交辅助机器人解决方案，以改善儿童接受治疗过程的临床环境。在本研究中，我们设计并开发社交辅助机器人技术，以支持儿童心理学家开展与行为障碍（特别是注意力缺陷多动障碍）相关的治疗活动。我们通过使用Pepper采用了玩具/游戏机器人方法。它是软银机器人公司设计的一款人形机器人[20]，旨在与人类互动。这将为治疗师提供一种新工具，以实现通过社交机器人交互达成预设治疗目标。此外，我们希望利用人工智能算法的能力来识别那些我们人类可能忽略的特征，例如情绪。我们开发的基于Pepper的原型系统在2020年2月新冠肺炎事件之前已在诊断与治疗中心进行了初步实验研究。此处报告了初步研究的结果，表明当治疗师试图帮助、教学、沟通或与行为障碍患者互动时，该系统是一种有用的工具。相关工作将在第2节中介绍。第3节将说明所进行的情境调查。第4节中，我们将阐述系统及其架构。第5节解释了人工智能如何支持治疗，描述了使用神经网络进行情绪识别的方法。第6节介绍了实验，最后第7节给出了结论。

II. RELATED WORK

辅助机器人技术（AR）是一类广泛的机器人，其功能是为用户提供协助，包括起床、刷牙、移动和康复。社交辅助机器人技术（SAR）则是一类通过社交互动为不同弱势群体提供多样化协助的机器人。在治疗行为障碍儿童方面，机器人技术的应用应旨在教授儿童基本社交技能、沟通和互动能力。目前，研究人员主要聚焦于自闭症障碍领域实现这些目标[17][18][11]。

斯卡塞拉蒂指出，机器人设备可提供定量数据，这些数据对临床医生在诊断、监测患者进展以及比较患者方面可能非常有用。研究表明，机器人能够激发受试者高度的动机和参与度，包括那些难以或不愿与人类治疗师进行社交互动的个体[12]。一些行为障碍个体甚至更偏爱机器人而非人类[13]。罗宾斯等人已证明自闭症谱系障碍（ASD）且语言能力有限的儿童存在这种偏好[14]。弗里丁、安吉尔和阿泽里[10]在他们的研究中探讨了机器人在幼儿园儿童中的接受度、互动性以及权威性，换句话说，他们研究了幼儿园中的辅助机器人技术。他们的研究对象为19名4至8岁儿童。在实验中，研究人员测量了眼神接触、面部、身体姿态、声音情绪表达以及空间关系学。实验结束后，研究人员得出结论：儿童能够接受机器人的存在，即使机器人侵入了他们的个人空间。此外，儿童喜欢与机器人互动，甚至可以遵循机器人的指令并接受其权威性。值得一提的是，尽管他们的研究是在正常发育儿童中进行的，但他们提出的技术旨在应用于注意力缺陷多动障碍儿童。人形机器人看起来像人类，但比人类简单得多，这可能使行为障碍儿童更容易与其建立联系。普林斯等人[24]在关于游戏元素对儿童动机影响的研究中，对51名患有ADHD、年龄在7至12岁之间的儿童进行了实验。所有受试者被分为两个随机选择的组，并接受每周三次记忆课程。一组采用游戏版训练，另一组则采用常规版本。结果表明，被分配到记忆训练游戏版本的儿童表现出更高的动机和更好的表现，在测试中犯更少的错误。本工作的主要目标是将人形机器人技术与心理与工程科学相结合，并融入游戏元素，以改善行为障碍儿童的社交技能。所设计的系统关注多个方面，例如面部表情识别、患者注意力以及引发的情绪。除了与人形机器人互动所带来的有益效果外，治疗疗程期间收集的数据还可用于监测行为障碍患者的进展。

III. CONTEXTUAL INVESTIGATION

采用基于赋能的分析方法来实现用户体验（UX）需求，如[19]所示。图1所示的方法是一种转化过程，始于情境调查，旨在理解特定社区内用户的行为和技能，并识别其生活质量可能的改进之处，这些改进以人类需求的形式表达。

在制定明确的用户赋能目标时，我们充分考虑了能够促进目标用户实现赋能的关键因素，以满足已确定的需求。这些目标涉及一系列用户体验需求，可进行迭代修改或扩展，并最终指导可用性设计师。情境分析始于2019年9月，使我们能够了解关于注意力缺陷多动障碍相关问题中最常见的疑问。我们的工作是与塞尼加利亚的一个诊断与治疗中心合作开展的，这使我们有机会接触并采访了一位发育精神病学家和一位心理学家。在访谈过程中，我们重点分析了注意力缺陷多动障碍领域，特别是理解相关的治疗过程。每次访谈均生成一个MP3文件，以便仅保留对分析有用的信息。最后，经过适当分析的信息被整理成文档，便于与设计团队共享。治疗师解释说，针对患有注意力缺陷多动障碍儿童的治疗过程必须根据具体患者来确定，因为每个个体可能表现出不同的症状表现。可以肯定的是，主角从来不仅仅是患者本人，而是整个环境及其周围的人，因此需要一条多边路径。

刺激控制是治疗的基本组成部分，因为这些儿童常常会分心，正是因为他们不断寻求刺激。他们指出，对于注意力缺陷的儿童来说，可预测性是一个关键原则，这些儿童需要能够预测即将发生的事情。他们同意，人形机器人可以成为儿童可靠且可预测的技术中介。在预期能提高注意力的治疗活动中，治疗过程的个性化已被证明是我们系统的创新元素。

在分析阶段之后，确定了以下功能需求：
- 面部表情识别，
- 治疗路径的个性化，
- 实时数据采集，
- 数据处理，
- 治疗进展监控。

我们开展的研究工作充分利用了情境探究的成果，旨在为治疗师提供一个完整的工具，通过专门设计的结构简化数据的收集与分析；但更重要的是，我们希望让他们有机会体验一种在人工智能辅助下的认知行为疗法新方法。我们的目标是证明，人工智能和创新技术的应用能够对当今注意力缺陷多动障碍的治疗产生积极影响。

IV. THE SYSTEM

我们的系统旨在为治疗师提供支持，通过充分吸引患者的注意力，使注意力缺陷多动障碍患者的治疗过程不再枯燥、更具吸引力。该系统与配备触摸屏的人形机器人完全集成，可通过我们的应用程序与患者进行互动。系统连接至远程服务器，患者会以游戏形式接收用于治疗目的的定制练习。所使用的人形机器人为佩珀。系统通过佩珀集成的两个摄像头之一（一个位于额头，一个位于嘴部）观察儿童与应用程序的互动情况，并利用情感识别算法捕捉和理解患者的注意力程度及可能遇到的困难。通过人工智能分析儿童的表情并识别其心理状态，有助于治疗师制定恰当的治疗过程和相应的行为干预措施。摄像头收集的数据将与练习结果相结合，随后通过评估指标和自动数据分析算法进行分析，以建议适当的治疗活动水平，更重要的是向治疗师提供患者参与程度的信息。这一过程实现了患者康复路径的数字化，以便持续监测任何改善或恶化情况。儿童将机器人的存在视为一种游戏，因此他们虽意识到正在进行治疗，但不会感受到压力。佩珀成为儿童可靠且可预测的技术中介，使患者在治疗会话中更加积极主动、成为主角并具备自主性。

A. 架构

如前一段所述，佩珀配备了触摸屏和摄像头。系统的架构如图2所示。

在治疗会话期间，治疗师通过其电脑启动系统，使应用程序在佩珀的触摸屏上运行，儿童便可开始进行游戏形式的第一个练习。在治疗过程中，人形机器人上的摄像头会（在儿童不知情的情况下）对其进行监控，并定期捕获帧。为降低系统的计算负载，决定进行采样。所捕获的帧将由情感分类模型进行分析，从而估计儿童的情绪状态。练习结束后，结果和帧将被发送至远程服务器，服务器通过特定的指标和算法生成下一级治疗活动。数据的结合至关重要，因为我们不仅需要依赖练习的结果，还需考虑患者特定的情绪状态，而情绪状态可能受到多种因素（如无聊、多动、愤怒）的影响。通过获取帧信息，我们可以了解注意力程度，从而高效地分析会话情况。数据经过分析后，治疗师可通过其电脑实时查看患者的进展情况，并据此决定如何继续开展练习会话。每次治疗会话都将被记录，并提供对患者进展的评估。

V. ARTIFICIAL INTELLIGENCE IN THE SYSTEM

本节将展示人工智能如何在这一过程中为治疗师提供支持。如前一节所述，在治疗会话期间，儿童将由人形机器人网络摄像头进行监测，以分析其情绪。情绪分类是通过卷积神经网络（CNN 或 ConvNet）实现的。卷积神经网络是一种机器学习算法，在处理各种与视频和图像处理相关的任务中取得了巨大成功。因此，捕获的图像将通过这些算法，首先检测面部，然后识别该面部的情绪。最后，将分析所捕获数据的趋势，以获得一个定性度量，该度量将用于理解治疗的进展，并让佩珀向儿童传递鼓励信息。图3展示了系统中构成情绪识别各个部分的示意图。

A. 人脸检测

采用多任务级联卷积网络（MTCNN）进行人脸检测。MTCNN 采用三个级联的卷积网络，能够识别面部以及五个参考点的位置，即：
- 2眼睛中心的参考点；
- 1鼻尖上的参考点；
- 嘴部末端的参考点。

人脸检测的三个阶段按以下方式划分：
1. 建议网络（P-Net） ：该网络用于通过一种称为“边界框回归”的技术获取与人脸相关的边界框，其目的是定位所寻找对象（在本例中为人脸）的边界框。最后，通过优化来合并重叠的边界框。
2. 精炼网络（R-Net） ：P-Net 的输出作为 R-Net 的输入。R-Net 通过执行边界框回归校准和非极大值抑制来减少候选数量，以合并重叠的候选区域。对于每个候选区域，R-Net 判断其是否为面部，并输出一个表示边界框的四维向量和一个用于定位面部参考点的十维向量。
3. 输出网络（O-Net） ：最后一步与 R-Net 类似，但 O-Net 旨在更详细地描述面部，并可视化眼睛、鼻子和嘴的五个面部参考点的位置。

B. 情绪识别

对于情绪分类，我们使用一个卷积神经网络，其输入为 MTCNN 输出的面部图像。该网络结构如下：
1. 卷积层：32个输出特征，3x3卷积核，步幅为1，批归一化和ReLU激活函数；
2. 卷积层：64个输出特征，3x3卷积核，步幅为2，批归一化和ReLU激活函数；
3. 卷积层：128个输出特征，3x3卷积核，步幅为2，批归一化和ReLU激活函数；
4. 卷积层：256个输出特征，3x3卷积核，步幅为2，批归一化和ReLU激活函数；
5. 全连接层：
a) 输入为256个6x6特征，256个神经元，ReLU激活函数；
b) 256个输入连接，每个待分类情绪（7种）对应一个输出神经元，sigmoid函数。

该卷积神经网络的输出将是输入图像中识别出的情绪；在视频流中，被识别面部周围将显示一个边界框以及标注了识别情绪的标签。

C. 数据集

上述网络在多伦多面部数据库数据集[26]上进行了训练。该数据集来自名为面部表情识别2013（FER-2013）[27]数据集中的一个图像子集。FER-2013由皮埃尔·吕克·卡里尔和亚伦·库尔维尔使用谷歌图片搜索API创建，通过搜索与184个情绪相关关键词（如“happy”、“angry”等）匹配的面部图像而生成。随后，迈赫迪·米尔扎和伊恩·古德费洛基于FER-2013创建了多伦多面部数据库，并从中准备了一个包含35887张图像的子集，同时将情绪关键词归类为七个广泛类别：
- 4953张“愤怒”的图像，
- 547张“厌恶”的图像，
- 5121张“恐惧”的图像，
- 8989张“快乐”的图像，
- 6077张“悲伤”图片，
- 4002张“惊讶”图片，
- 6198张“中性”图片。

D. 主导情绪的捕捉

分析图4可以看出，治疗会话期间捕捉到的情绪被插入数组中进行处理。治疗会话被划分为若干预设的时间间隔，每个时间间隔内捕捉各种情绪。为了执行此操作，底层算法依赖于一个支持阵列，首先将与治疗某个时间间隔相关的所有情绪保存在该阵列中。时间间隔结束后，对该阵列进行分析。由于情绪是一种定性度量，因此提取众数，即在观察到的分布中最常出现的值。我们可能会得到单峰或双峰分布。众数被保存到另一个数组中，随后清空支持阵列以准备下一个时间间隔。通过执行该分析，在治疗阶段观察情绪非常重要，因为它使我们能够了解受试者的心情。事实上，治疗师可以判断儿童在会话期间是否能够保持注意力（例如，如果他/她转移视线，则会被标记为“分心”），或者他/她是否感到无聊，从而需要采用新的策略。与此同时，佩珀利用最新的众数值向小患者提供适当的反馈，向受试者说出鼓励的话语。

为了实现这一点，针对每种情绪设计并创建了一个鼓励语句词典，使佩珀可以根据最新捕捉到的情绪随机“选择”要说的内容，以恰当地鼓励儿童。

VI. PROTOTYPE EVALUATION

我们的系统旨在为儿童提供一种趣味性的方式来进行治疗，从而为治疗师的传统工作提供额外支持。该原型在一组儿童的治疗会话中进行了测试，以评估人形机器人治疗师的接受度。最初，我们通过一名注意力缺陷多动障碍儿童进行了实验室实验，以确保Pepper在任何时间都能提供适当的治疗刺激。

A. 初步实验

初步实验于2020年1月在萨勒诺大学的HCI-UsE实验室进行。在儿童与机器人互动期间，儿童由其治疗师陪同。参与初步实验的是一名八岁男孩弗朗切斯科，他正在上小学三年级。从很小的时候起，他就表现出管理情绪方面的困难。经过多次测试发现，弗朗切斯科患有行为障碍；特别是，他在进行日常活动时也难以集中注意力。此外，他很难应对挫折。最初，弗朗切斯科害怕接受治疗师的治疗，显得极为内向。治疗师也发现很难吸引他的注意力并让他完成练习。随着基于Pepper的应用程序的引入，弗朗切斯科能够以一种有趣的方式开展治疗。在实验会话中，弗朗切斯科开始玩一个旨在训练他保持专注的游戏。佩珀通过其显示屏讲述并展示了一个故事，并实时捕捉儿童的面部表情。弗朗切斯科最初对声音的来源感到分心，但被显示屏上看到的故事所吸引。当佩珀讲完故事后，他会向弗朗切斯科提问，以分析这位小患者的理解程度。从回答中获取的数据以及帧信息被处理后，得出所获得的注意力百分比。结果会显示在治疗师终端上。随后根据结果选择下一个游戏，根据收集到的信息并提交给了弗朗切斯科。会话结束后，治疗师借助系统处理的数据，能够获得关于弗朗切斯科治疗进展的评估。

B. 接受度评估

第一阶段实验包括在获得家长同意后，对在中心开展的团体治疗活动进行观察。目标是评估所引入的技术支持的接受程度。团体治疗使儿童能够通过社交关系管理情绪，并与其他儿童合作[15]。一组儿童（N = 5），年龄在7至10岁之间，在治疗师的指导下参与活动，治疗师通过游戏和练习与他们互动。观察持续三周，共进行了连续三次会话，每次会话平均持续50分钟。在第一次会话期间，治疗师向儿童介绍了Pepper，并解释了如何与人形机器人互动。儿童立即接受了人形机器人的存在，开始积极参与，并对其需要完成的练习表现出高度的注意力。第三次会话结束后，向每位儿童发放了一组从UTAUT问卷中提取的10个问题[25]，以测量他们对系统的接受度。儿童可通过五点笑脸量表表明其同意程度，选择对应的笑脸代表完全不同意（1）- 不同意（2）- 既不同意也不反对（3）- 同意（4）- 完全同意（5）。尽管基于UTAUT模型的接受度严格评估是我们当前工作的组成部分，但初步实验所获得的反馈令人鼓舞，预示着行为障碍儿童对使用人形机器人进行治疗具有良好的接受度和使用意愿。治疗师也证实了这一点，报告称这种基于Pepper的趣味疗法得到了积极反应。

VII. 结论与未来工作

总之，在治疗环境中依赖人形机器人的想法对治疗师和儿童都表现出极大的吸引力，能够使他们在治疗过程中保持更高的积极性。我们所描述的原型系统能够基于注意缺陷多动障碍患者的个人特征，借助人工智能的支持，构建个性化治疗路径。该研究的下一步将是开展一项严格的纵向实验研究，纳入大量患者，以评估所提出的基于辅助机器人的系统的接受度。不幸的是，由于冠状病毒病大流行，这一阶段已暂时停止。未来，我们还计划在学校环境中应用该系统来支持相关活动。事实上，我们相信，借助团体治疗的逻辑，佩珀可以帮助患有注意力缺陷多动障碍的儿童与同学进行社交互动。这可能成为提高同伴对注意力缺陷多动障碍儿童包容性的关键因素，这一点至关重要[28]。