❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

原文链接：https://mp.weixin.qq.com/s/JC2LdzJVXaplAWl5eXILww

🚀 快速阅读

1. 功能：PC Agent 能够自动化执行复杂的数字任务，如组织研究材料、起草报告等。
2. 技术：系统采用多智能体架构，结合规划智能体和定位智能体，实现精准的视觉定位和决策制定。
3. 应用：PC Agent 在办公自动化、研究与学术、内容创作等领域具有广泛的应用潜力。

正文

PC Agent 是什么

PC Agent 是上海交通大学与 Generative AI Research Lab (GAIR) 联合推出的先进 AI 系统。该系统基于模拟人类认知过程，能够执行如组织研究材料、起草报告和创建演示文稿等复杂数字工作。PC Agent 集成了 PC Tracker，用于高效收集人机交互数据，并通过两阶段认知完成流程将原始数据转化为认知轨迹。

PC Agent 采用多智能体系统架构，结合规划智能体和定位智能体，实现精准的视觉定位和决策制定。系统在少量高质量认知数据训练下，能够处理多达 50 步的复杂工作流程，展现了卓越的数据效率和实际应用潜力。

PC Agent 的主要功能

• 任务自动化：自动化执行复杂的数字任务，如组织研究材料、起草报告和创建演示文稿。
• 人机交互数据收集：基于 PC Tracker，收集用户与计算机交互的详细轨迹和认知上下文。
• 认知轨迹转化：用两阶段认知完成流程，将原始交互数据转换为富含认知信息的轨迹。
• 复杂工作处理：处理涉及多个应用程序的复杂工作流程，如在 PowerPoint 和浏览器间切换收集资料。
• 多智能体协作：结合规划智能体和定位智能体，实现决策制定和精确的视觉定位。
• 少量数据训练：在只有少量认知轨迹数据的训练下，执行复杂的工作流程。

PC Agent 的技术原理

• PC Tracker：
  • 数据收集：在后台运行，记录用户的键盘和鼠标活动，捕获屏幕截图，收集人机交互数据。
  • 事件跟踪：基于事件的跟踪策略，记录关键的用户操作事件，而非连续的视频流，减少存储需求。
  • 动作空间统一：将键盘和鼠标操作封装成统一的动作空间，简化 AI 对人类行为的理解。
• 认知完成流程：
  • 数据精炼：基于轨迹过滤、动作过滤和标准化，优化原始交互数据的质量。
  • 动作语义完成：为点击相关动作补充语义信息，生成点击目标的高质量描述。
  • 思维过程重建：基于动作语义信息，重建每个动作背后的隐含推理过程。
• 多智能体系统：
  • 规划智能体：负责行动决策制定，基于学习人类认知轨迹获得有效规划能力。
  • 定位智能体：负责执行点击相关动作，并具有自验证机制，实现接近人类的精确度。
  • 错误修正机制：当定位智能体发现规划智能体尝试点击的目标在屏幕上不存在时，规划智能体会被提示重新制定行动计划。

资源

• 项目官网：https://gair-nlp.github.io/PC-Agent
• GitHub 仓库：https://github.com/GAIR-NLP/PC-Agen
• arXiv 技术论文：https://arxiv.org/pdf/2412.17589

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦