メモ
コンピューターの使用はパブリック プレビュー中であり、変更される可能性があります。
コンピューターの使用について
Copilot は、アクセス可能なアプリケーションのコンテンツや視覚的なコンテキストを読み取り、コントロールをクリックし、テキストを入力および編集し、キーを押し、スクロールやドラッグを行い、複数のアプリケーションにまたがるワークフロー内を移動することで、ユーザーに代わってデスクトップ アプリケーションを操作できます。
コンピューターの使用は、macOS と Windows のGitHub Copilot CLIとGitHub Copilot appで利用できます。
コンピューターの使用により、API、コマンド ライン インターフェイス、または MCP 統合を提供しないレガシ および GUI のみのソフトウェアのワークフローを含め、自動化に役立つ Copilot タスクが拡張されます。
コンピューターを使うことで、たとえば次のようなタスクを行うのに役立ちます。
- 従来のデスクトップ アプリケーションでの情報の確認と要約。
- プレゼンテーション内の内容の更新
- GUIのみのソフトウェアで情報を入力または更新する。
- マルチステップ ワークフローの一部としてアプリケーション間で情報を移動する。
ヒント
コンピューターの利用は、視覚的インターフェイスとの対話を必要とするタスク向けに設計されています。 API、MCP サーバー、ターミナル コマンド、ファイルシステム ツール、または専用ブラウザーツールでタスクを直接実行できる場合、通常は、それらのツールの方が、より構造化された情報と予測可能な結果を提供します。
Capabilities
有効にすると、コンピューターの使用により Copilot で次のことができます。
- ビジュアル コンテキストが必要な場合は、オペレーティング システムのアクセシビリティ ツリーまたはスクリーンショットを使用して、アクセス可能なアプリケーションのコンテンツとビジュアル コンテキストを読み取ります。
- コントロールをクリックします。
- テキストを入力および編集します。
- キーを押し、項目をスクロールしてドラッグします。
- アプリケーション間でワークフローを移動します。
エージェントは、プロンプトに沿って処理を進める中で、これらのツールを選択します。 セッションでツールのアクティビティを確認できます。
コンピューターの使用に対するアクセスの制御
既定では、コンピューター利用は無効になっています。 エージェントがそのツールを使用する前に、有効にする必要があります。
コンピューターの使用可否は、セッションが実行されている Copilot サーフェスのツールのアクセス許可設定に従います。 これらの設定では、Copilot がデスクトップ アプリケーションを制御する前に承認を求めるかどうかを指定します。 サーフェスごとにツールの権限設定を変更できます。 アプリケーションへのアクセスの承認を求められたら、現在のセッションへのアクセス権を付与したり、今後のセッションの承認を保存したり、アクセスを拒否したりできます。
特定のアプリケーションに対して常に許可を選択した場合、Copilotはその決定をローカルに保存します。 この決定は、同じコンピューター上にある GitHub Copilot CLI と GitHub Copilot app の両方に適用されます。 アプリでは、常に許可されているアプリの一覧を確認し、個別の許可を削除できます。 アプリケーションを削除すると、アプリと CLI の両方で、今後のセッションに対する保存された承認が削除されます。 進行中のセッションですでに付与されているアクセスは取り消されません。
ツールへのアクセスを拒否するアクセス許可ルールは、自動承認または保存された承認よりも優先されます。
エンタープライズ管理者は、管理設定を使用してコンピューターの使用を無効にすることができます。 ローカルでのコンピューターの使用を有効にしても、エンタープライズ ポリシーは無効になりません。 構成の詳細については、 AUTOTITLE を参照してください。
コンピューターが予期せず動作し始めた場合、実行中の操作を中断できます。 GitHub Copilot CLIでEscキーを2回押します。 GitHub Copilot appで、[停止] をクリックするか、Esc を押します。
macOS では、コンピュータの使用機能が次の許可を付与する手順を案内します。
- アプリケーションのコントロールを操作するためのアクセシビリティ権限。
- 視覚的なコンテキストが必要な場合にアプリケーションウインドウを調べるための画面収録の許可。
制限事項とリスク
コンピューターの使用は、アプリケーションのバージョン、オペレーティング システム、ウィンドウの状態間で変更できるインターフェイスを解釈します。 誤ったコントロールを選択したり、誤った場所にテキストを入力したり、非標準または動的なコントロールや複雑なワークフローへの対応が難しい場合があります。 タイミングまたはウィンドウの状態を変更すると、異なる結果が生成されたり、コンピューターで操作が繰り返されたり、続行できなくなる可能性があります。
警告
コンピューターを使用すると、デスクトップ アプリケーション間の対話を自動化できますが、セキュリティ リスクも発生します。 あいまいな指示や画面上に表示された予期しない内容により、デバイス、データ、または接続されたアカウントに影響を及ぼす意図しない操作が行われるおそれがあります。これには、個人、金融、またはエンタープライズ システムへのアクセスも含まれます。 コンピューターの使用は人間の判断に代わるものではありません。 特に、データを変更したり他の人に影響を与えたりする操作を許可する前に、対象アプリケーション、要求されている権限、および結果を確認してください。
アプリケーション ウィンドウには、他のユーザーに関する情報を含む機密情報が表示される場合があります。 目に見えるコンテンツを Copilotのコンテキストとして提供することに慣れているアプリケーションやタスクでのみ、コンピューターの使用を使用します。
[ 常に アプリケーションを許可する] を選択した場合、後でコンピューターを使用する操作で、もう一度要求することなく制御できます。 機密情報を含むアプリケーションや影響の大きいアクションをサポートするアプリケーションには 、[常に許可 する] を選択しないでください。
責任ある使用に関する包括的な情報については、 AUTOTITLE を参照してください。
次のステップ
コンピューターの使用を有効にして使用するには、次を参照してください。