22、利用混合现实患者和人工智能框架模拟逼真临床检查

利用混合现实患者和人工智能框架模拟逼真临床检查

1. 引言

澳大利亚格里菲斯大学在新加坡开设护理学士课程超 20 年，助力当地注册护士从护理文凭过渡到学士学位。2020 年 2 月新冠疫情爆发，生物安全措施使教学全面转向线上。两位作者迅速调整教学方法，采用现有学习管理系统（LMS）、虚拟讲座和临床技能实验室替代面对面教学。但评估成为难题，客观结构化临床考试（OSCE）通常使用“真实”模拟患者，疫情使学生无法接触志愿者患者，只能采用技能视频中的图像作为“虚拟”患者，学生通过 LMS 中的协作工具和交互式白板实时增强图像。2020 年临床健康评估课程的 OSCE 虽能在线完成，但体验较初级。

为提升学生沉浸感，2021 年启动研究项目，探索结合模拟患者和虚拟学习环境的混合现实体验。最终开发、实施并评估了用于 OSCE 的集成应用程序（MR App）。该应用基于设计研究方法，结合学生和工作人员的迭代反馈，使用微软 Power 平台构建，可展示动态内容，供学生控制。利用 Metahuman Creator 和虚幻引擎构建逼真虚拟患者，其渲染结果融入应用，支持笔输入以指示检查标志。应用涵盖临床健康评估各方面，包括患者信息、互动、身体评估和临床交接。

2. 增强设计过程

项目目标由教学法驱动，采用基于设计的研究方法。团队成员因个人经验和学科领域不同，对设计方法有不同理解。基于设计的方法可包含多轮内容设计，以学生为中心，旨在研究相关问题并提出潜在答案。

赫伯特·西蒙指出，解决问题始于创建问题表示，即问题空间。问题空间受解决者个人知识和环境帮助影响，设计能让不同学科人员用共同语言交流。项目团队虽目标一致，即有效为护理学生模拟患者，但对问题空间的理解不同