Uso del aplicación Copilot de GitHub para interactuar con aplicaciones de escritorio

Acerca del uso del equipo

Copilot puede interactuar con las aplicaciones de escritorio en su nombre leyendo el contenido de la aplicación accesible y el contexto visual, haciendo clic en controles, escribiendo y editando texto, presionando teclas, desplazando, arrastrando y navegando por flujos de trabajo entre aplicaciones.

Esta funcionalidad es útil para los flujos de trabajo en software heredado y de solo GUI que no proporcionan una API, una interfaz de línea de comandos o una integración de MCP. Está disponible para sesiones locales en macOS y Windows.

Para obtener información sobre sus funcionalidades, controles y limitaciones, consulte Acerca del uso del equipo en GitHub Copilot.

Habilitación del uso del equipo

1. Abra la configuración de GitHub Copilot app.
2. En la barra lateral, seleccione Uso del equipo.
3. En Habilitar uso de equipo, active Habilitar uso de equipo.
4. En macOS, en Requisitos previos, otorgue los dos permisos necesarios:
   • Conceda permiso de accesibilidad para permitir que el equipo use para interactuar con los controles de aplicación.
   • Conceda permiso de grabación de pantalla para permitir que el equipo use para inspeccionar las ventanas de la aplicación cuando se necesite contexto visual.
5. En macOS, si no se detecta un cambio de permiso, haga clic en Comprobar de nuevo.

También puede usar el comando /computer on en una sesión. Para comprobar el estado actual del complemento y MCP, use /computer show.

Uso del equipo

El uso del equipo funciona mejor cuando se describe el resultado que desea, las aplicaciones implicadas y las restricciones importantes.

Por ejemplo:

Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Sustituya APP_NAME por el nombre de una aplicación instalada en su equipo.

El uso del equipo sigue la configuración De permisos de herramientas de la aplicación. Esta configuración determina si Copilot se solicita aprobación antes de controlar una aplicación. Para revisar o cambiar la configuración, abra la configuración de la aplicación y seleccione Sesiones. Cuando se requiera aprobación, compruebe que la aplicación solicitada y la acción coincidan con el mensaje. A continuación, elija Permitir para conceder acceso a la sesión actual de uso del equipo, permitir siempre guardar la aprobación para futuras sesiones, o rechazar o cancelar la solicitud.

Para interrumpir una operación activa, haga clic en Detener o presione Esc.

Revisión de las aplicaciones siempre permitidas

Si elige Permitir siempre en GitHub Copilot app o GitHub Copilot CLI, la aprobación queda guardada y se aplica a ambas interfaces en el mismo equipo.

1. Abra la configuración de GitHub Copilot app.
2. En la barra lateral, seleccione Uso del equipo.
3. En Aplicaciones siempre permitidas, haga clic en el icono de eliminación situado junto a la aplicación.

Al eliminar una aplicación, se borra su autorización guardada para futuras sesiones tanto en la aplicación como en la CLI. No revoca el acceso ya concedido en una sesión en ejecución. Haga clic en Detener o presione Esc para detener la operación actual. Finalice la sesión para revocar el acceso a la aplicación concedido a esa sesión.

Desactivar el uso del equipo

Abra la configuración de GitHub Copilot app. En la barra lateral, seleccione Uso del equipo y, a continuación, desactive Habilitar uso de equipo.

También puede usar /computer off en una sesión.

Solución de problemas de uso del equipo

• Si la página Configuración de Uso del equipo no está disponible, confirme que la característica está disponible para su cuenta y sistema operativo.
• En macOS, si el equipo no puede interactuar con las aplicaciones, confirme que la grabación de pantalla y accesibilidad se muestran ****concedidas en Requisitos previos.