GitHub Copilot CLI を使用したデスクトップ アプリケーションの操作

コンピューター使用では、Copilot が GitHub Copilot CLI からローカル デスクトップ アプリケーションと対話できるようになります。

この機能を使用できるユーザーについて

GitHub Copilot CLI は、すべての Copilot プランで使用できます。 組織から Copilot を受け取る場合は、組織の設定で Copilot CLI ポリシーを有効にする必要があります。

この記事で

メモ

コンピューターの使用はパブリック プレビュー中であり、変更される可能性があります。

コンピューターの使用について

Copilot は、アクセス可能なアプリケーション コンテンツとビジュアル コンテキストの読み取り、コントロールのクリック、テキストの入力と編集、キーの押下、スクロール、ドラッグ、および複数のアプリケーションにまたがるワークフローの操作によって、ユーザーに代わってデスクトップ アプリケーションと対話できます。

この機能は、API、コマンド ライン インターフェイス、または MCP 統合を提供しないレガシおよび GUI のみのソフトウェアのワークフローに役立ちます。 macOS および Windows のローカル セッションで使用できます。

その機能、コントロール、および制限事項については、 GitHub Copilotでのコンピューターの使用について を参照してください。

コンピューターの使用状態の確認

対話型 Copilot CLI セッションで、次を入力します:

Text
/computer show

Copilot CLI は、コンピューター使用プラグイン、MCP サーバー、および関連するスキルが有効になっているかどうかを報告します。

コンピューターの使用を有効にする

対話型セッションで、次のように入力します。

Text
/computer on

Copilot CLI は、設定を保存し、バンドルされたコンピューター使用プラグインを有効にします。 組織でコンピュータの使用を無効にしている場合、CLI は、それが管理対象設定によってブロックされていることを報告します。 ローカル設定でポリシーをオーバーライドすることはできません。

macOS では、コンピュータの使用時に、アクセシビリティと画面収録へのアクセスを許可する手順が案内されます。

コンピューターを使用する使用

コンピューターは、目的の結果、関連するアプリケーション、および重要な制約を説明すると最もうまく利用できます。

例えば次が挙げられます。

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

APP_NAMEを、コンピューターにインストールされているアプリケーションの名前に置き換えます。

コンピューターの使用は、アクティブな Copilot CLI アクセス許可モードに従います。 このモードでは、Copilot がアプリケーションを制御する前に承認を求めるかどうかを決定します。 /permissions show を入力して、アクティブ モードを確認します。 承認が必要な場合は、許可 を選択して現在のコンピューター使用セッション中のみアクセスを許可し、常に許可 を選択して今後のセッションの承認を保存するか、要求を拒否またはキャンセルします。

[常に許可] をアプリケーションに対して選択した場合、保存された承認は、同じコンピューター上の GitHub Copilot app でコンピューター使用機能を使うときにも適用されます。 プロンプトが表示されたら、アプリケーションとアクションがリクエストと一致することを確認してください。 構成済みの拒否規則が引き続き優先されます。

アクティブな操作を中断するには、Esc キーを2回押してください。

ツールのアクセス許可の構成については、 ツールの使用の許可と拒否 を参照してください。

コンピューターの使用を禁止する

対話型セッションで、次を入力します:

Text
/computer off

プラグインと MCP サーバーが無効であることを確認するには、/computer showを使用して確認します。

コンピューターの使用に関するトラブルシューティング

  • /computer show でコンピューターの使用を利用できないと表示される場合は、この機能がアカウントで使用可能であり、サポートされているオペレーティング システムでローカル セッションを使用していることを確認します。
  • コンピューターの使用が有効になっていても機能しない場合は、/plugin を使用して、バンドルされた computer-use プラグインが有効になっていることを確認し、/mcp list を使用して、その MCP サーバーが接続されていることを確認します。
  • macOS では、computer-use helper にアクセシビリティと画面収録の両方のアクセス許可があることを確認します。