Utilisation du application Copilot GitHub pour interagir avec les applications de bureau

Avec l’utilisation de l’ordinateur, autorisez Copilot l’interaction avec les applications de bureau locales à partir du GitHub Copilot app.

Qui peut utiliser cette fonctionnalité ?

GitHub Copilot app est disponible pour tous les Copilot plans.
Download GitHub Copilot app

Dans cet article

Remarque

L’utilisation de l’ordinateur est en préversion publique et peut changer.

Utilisation de l’ordinateur

Copilot peut interagir avec les applications de bureau en votre nom en lisant le contenu de l’application accessible et le contexte visuel, en cliquant sur des contrôles, en entrant et en modifiant du texte, en appuyant sur les touches, en faisant défiler, en faisant glisser et en accédant aux flux de travail entre les applications.

Cette fonctionnalité est utile pour les flux de travail dans les logiciels hérités et gui uniquement qui ne fournissent pas d’API, d’interface de ligne de commande ou d’intégration MCP. Il est disponible pour les sessions locales sur macOS et Windows.

Pour plus d’informations sur ses fonctionnalités, ses contrôles et ses limitations, consultez À propos de l’utilisation de l’ordinateur dans GitHub Copilot.

Activation de l’utilisation de l’ordinateur

  1. Ouvrez les paramètres de GitHub Copilot app.
  2. Dans la barre latérale, sélectionnez Utilisation de l’ordinateur.
  3. Sous Activer l’utilisation de l’ordinateur, activez Activer l’utilisation de l’ordinateur.
  4. Sur macOS, sous Conditions préalables, accordez les deux autorisations requises :
    • Accordez l’autorisation d’accessibilité pour autoriser l’utilisation de l’ordinateur à interagir avec les contrôles d’application.
    • Accordez l’autorisation d’enregistrement d’écran pour autoriser l’utilisation de l’ordinateur pour inspecter les fenêtres d’application lorsque le contexte visuel est nécessaire.
  5. Sur macOS, si aucune modification d’autorisation n’est détectée, cliquez sur Vérifier à nouveau.

Vous pouvez également utiliser la /computer on commande dans une session. Pour vérifier l’état actuel du plug-in et mcP, utilisez /computer show.

Utilisation de l’ordinateur

L’usage de l’ordinateur est plus efficace lorsque vous décrivez le résultat souhaité, les applications concernées et les contraintes importantes.

Par exemple:

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Remplacez APP_NAME par le nom d’une application installée sur votre ordinateur.

L’utilisation de l’appareil suit le paramètre Autorisations de l’outil de l’application. Ce paramètre détermine si Copilot vous devez demander l’approbation avant de contrôler une application. Pour passer en revue ou modifier le paramètre, ouvrez les paramètres de l’application et sélectionnez Sessions. Lorsque l’approbation est requise, vérifiez que l’application et l’action demandées correspondent à votre demande. Choisissez Ensuite Autoriser pour accorder l’accès à la session d’utilisation de l’ordinateur actuelle, Toujours autoriser à enregistrer l’approbation pour les sessions ultérieures, ou refuser ou annuler la demande.

Pour interrompre une opération active, cliquez sur Arrêter ou appuyez sur Échap.

Examen des applications toujours autorisées

Si vous choisissez Toujours autoriser dans GitHub Copilot app ou GitHub Copilot CLI, l’approbation est enregistrée et s’applique aux deux surfaces sur le même ordinateur.

  1. Ouvrez les paramètres de GitHub Copilot app.
  2. Dans la barre latérale, sélectionnez Ordinateur.
  3. Sous Applications toujours autorisées, cliquez sur l’icône de suppression à côté de l’application.

La suppression d’une application supprime l’autorisation enregistrée pour les sessions futures, dans l’application comme dans l’interface de ligne de commande (CLI). Il ne révoque pas l’accès déjà accordé dans une session en cours d’exécution. Cliquez sur Arrêter ou appuyez sur Échap pour arrêter l’opération actuelle. Terminez la session pour révoquer l’accès de l’application accordé à cette session.

Désactivation de l’usage de l’ordinateur

Ouvrez les paramètres de GitHub Copilot app. Dans la barre latérale, sélectionnez Utilisation de l’ordinateur, puis désactivez Utilisation de l’ordinateur.

Vous pouvez également utiliser /computer off dans une session.

Résolution des problèmes d’utilisation de l’ordinateur

  • Si la page des paramètres Utilisation de l’ordinateur n’est pas disponible, vérifiez que cette fonctionnalité est prise en charge pour votre compte et votre système d’exploitation.
  • Sur macOS, si l’utilisation de l’ordinateur ne peut pas interagir avec les applications, vérifiez que l’accessibilité et l’enregistrement d’écran sont accordés sous Conditions préalables.