Utilisation de GitHub Copilot CLI pour interagir avec les applications de bureau

Avec l’utilisation de l’ordinateur, autorisez Copilot à interagir avec les applications de bureau locales à partir de GitHub Copilot CLI.

Qui peut utiliser cette fonctionnalité ?

GitHub Copilot CLI est disponible dans tous les forfaits Copilot. Si vous recevez Copilot d’une organisation, la Copilot CLI stratégie doit être activée dans les paramètres de l’organisation.

Dans cet article

Remarque

L’utilisation de l’ordinateur est en préversion publique et peut changer.

Utilisation de l’ordinateur

Copilot peut interagir avec les applications de bureau en votre nom en lisant le contenu accessible de l’application et le contexte visuel, en cliquant sur des contrôles, en entrant et en modifiant du texte, en appuyant sur les touches, en faisant défiler, en faisant glisser et en naviguant dans des flux de travail entre plusieurs applications.

Cette fonctionnalité est utile pour les flux de travail dans les logiciels hérités à interface graphique uniquement qui ne fournissent pas d’API, d’interface de ligne de commande ou d’intégration MCP. Il est disponible pour les sessions locales sur macOS et Windows.

Pour plus d’informations sur ses fonctionnalités, ses contrôles et ses limitations, consultez À propos de l’utilisation de l’ordinateur dans GitHub Copilot.

Vérification de l’état de l’utilisation de l’ordinateur

Dans une session interactive Copilot CLI , entrez :

Text
/computer show

Copilot CLI indique si le plug-in d’utilisation de l’ordinateur, le serveur MCP et les compétences associées sont activés.

Activer l’utilisation de l’ordinateur

Dans une session interactive, entrez :

Text
/computer on

Copilot CLI enregistre vos préférences et active le module externe d’utilisation de l’ordinateur inclus. Si votre organisation a désactivé l’accès à l’ordinateur, l’interface CLI signale qu’elle est bloquée par les paramètres managés. Votre préférence locale ne peut pas remplacer la politique.

Sur macOS, l’utilisation de l’ordinateur vous guide tout au long de l’octroi des autorisations d’accessibilité et d’enregistrement d’écran.

Utilisation de l’utilisation de l’ordinateur

L’utilisation de l’ordinateur fonctionne mieux lorsque vous décrivez le résultat souhaité, les applications impliquées et toutes les contraintes importantes.

Par exemple:

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Remplacez APP_NAME par le nom d’une application installée sur votre ordinateur.

L’utilisation de l’ordinateur suit le mode d’autorisation actif Copilot CLI . Ce mode détermine si Copilot doit demander une approbation avant de contrôler une application. Entrez /permissions show pour passer en revue le mode actif. Lorsque l’approbation est requise, choisissez Autoriser pour accorder l’accès à la session en cours sur cet ordinateur, Toujours autoriser pour enregistrer l’approbation pour les sessions futures, ou refuser ou annuler la demande.

Si vous choisissez Toujours autoriser pour une application, l’approbation enregistrée s’applique également lorsque vous utilisez la fonctionnalité d’utilisation de l’ordinateur dans GitHub Copilot app sur le même ordinateur. Lorsqu’une invite s’affiche, vérifiez que l’application et l’action correspondent à votre demande. Les règles de refus configurées sont toujours prioritaires.

Pour interrompre une opération active, appuyez deux fois sur Échap .

Pour plus d’informations sur la configuration des autorisations d’outil, consultez Autorisation et refus de l’utilisation de l’outil.

Désactiver l’utilisation de l’ordinateur

Dans une session interactive, entrez :

Text
/computer off

Pour vérifier que le plug-in et le serveur MCP sont désactivés, utilisez /computer show.

Résolution des problèmes d’utilisation de l’ordinateur

  • Si /computer show indique que l’utilisation de l’ordinateur n’est pas disponible, vérifiez que la fonctionnalité est disponible pour votre compte et que vous utilisez une session locale sur un système d’exploitation pris en charge.
  • Si l’option Utilisation de l’ordinateur est activée mais ne fonctionne pas, utilisez /plugin pour vérifier que le plug-in intégré computer-use est activé et /mcp list pour vérifier que son serveur MCP est connecté.
  • Sur macOS, vérifiez que l’assistant d’utilisation de l’ordinateur dispose des autorisations d’accessibilité et d’enregistrement de l’écran.