Usando GitHub Copilot CLI para interagir com aplicativos da área de trabalho

Com o uso do computador, permita Copilot interagir com aplicativos da área de trabalho local de GitHub Copilot CLI.

Quem pode usar esse recurso?

GitHub Copilot CLI está disponível com todos os Copilot planos. Se você receber Copilot de uma organização, a Copilot CLI política deverá ser habilitada nas configurações da organização.

Neste artigo

Observação

O uso do computador está em prévia pública e sujeito a alterações.

Sobre o uso do computador

Copilot pode interagir com aplicativos da área de trabalho em seu nome lendo o conteúdo acessível do aplicativo e o contexto visual, clicando em controles, inserindo e editando texto, pressionando teclas, rolando, arrastando e navegando fluxos de trabalho entre aplicativos.

Essa funcionalidade é útil para fluxos de trabalho em software herdado e somente GUI que não fornecem uma API, uma interface de linha de comando ou uma integração MCP. Ele está disponível para sessões locais no macOS e Windows.

Para obter informações sobre seus recursos, controles e limitações, consulte Sobre o uso do computador no GitHub Copilot.

Verificando o status de uso do computador

Em uma sessão interativa Copilot CLI , insira:

Text
/computer show

Copilot CLI informa se o plug-in de uso do computador, o servidor MCP e as habilidades associadas estão habilitados.

Habilitando o uso do computador

Em uma sessão interativa, insira:

Text
/computer on

Copilot CLI salva sua preferência e habilita o plug-in de uso de computador empacotado. Se sua organização tiver desabilitado o acesso ao computador, a CLI informará que ele está bloqueado por configurações gerenciadas. Sua preferência local não pode se sobrepor à política.

No macOS, o Computer Use orienta você na concessão de permissões de Acessibilidade e Gravação de Tela.

Uso do computador

O uso de computador funciona melhor quando você descreve o resultado desejado, os aplicativos envolvidos e quaisquer restrições importantes.

Por exemplo:

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Substitua APP_NAME pelo nome de um aplicativo instalado em seu computador.

O uso do computador segue o modo de permissão ativo Copilot CLI . Esse modo determina se Copilot pede aprovação antes de controlar um aplicativo. Digite /permissions show para examinar o modo ativo. Quando a aprovação for necessária, escolha Permitir para conceder acesso à sessão atual de uso do computador, Sempre permitir para salvar a aprovação para sessões futuras ou recusar ou cancelar a solicitação.

Se você escolher Sempre permitir para um aplicativo, a aprovação salva também se aplicará ao usar o Uso do computador em GitHub Copilot app no mesmo computador. Quando um prompt for exibido, confirme se o aplicativo e a ação correspondem à sua solicitação. As regras de negação configuradas ainda têm precedência.

Para interromper uma operação ativa, pressione Esc duas vezes.

Para obter informações sobre como configurar permissões de ferramenta, consulte Permitir e negar o uso da ferramenta.

Desativando o uso do computador

Em uma sessão interativa, insira:

Text
/computer off

Para confirmar se o plug-in e o servidor MCP estão desabilitados, use /computer show.

Solução de problemas no uso do computador

  • Se /computer show informar que o uso do computador não está disponível, confirme se o recurso está disponível para sua conta e se você está usando uma sessão local em um sistema operacional compatível.
  • Se o uso do computador estiver habilitado, mas não funcionar, use /plugin para verificar se o plug-in empacotado computer-use está habilitado e /mcp list verificar se o servidor MCP está conectado.
  • No macOS, confirme se o assistente de uso do computador tem permissões de Acessibilidade e Gravação de Tela.