GitHub-Copilot-App zur Interaktion mit Desktopanwendungen verwenden

Bei Verwendung eines Computers können Sie Copilot die Interaktion mit lokalen Desktopanwendungen vom GitHub Copilot app aus erlauben.

Wer kann dieses Feature verwenden?

GitHub Copilot app ist für alle Copilot Pläne verfügbar.
Download GitHub Copilot app

In diesem Artikel

Hinweis

Die Computernutzung ist in Öffentliche Vorschau und kann geändert werden.

Informationen zur Computerverwendung

Copilot kann in Ihrem Auftrag mit Desktopanwendungen interagieren, indem sie barrierefreie Anwendungsinhalte und visuellen Kontext lesen, auf Steuerelemente klicken, Text eingeben und bearbeiten, Tasten drücken, Scrollen, Ziehen und Navigieren in Workflows in allen Anwendungen ausführen.

Diese Funktion ist nützlich für Workflows in legacy- und GUI-only-Software, die keine API-, Befehlszeilenschnittstellen- oder MCP-Integration bereitstellen. Sie ist für lokale Sitzungen unter macOS und Windows verfügbar.

Informationen zu ihren Funktionen, Steuerelementen und Einschränkungen finden Sie unter Informationen zur Computerverwendung in GitHub Copilot.

Aktivieren der Computerverwendung

  1. Öffnen Sie die Einstellungen für GitHub Copilot app.
  2. Wählen Sie in der Randleiste " Computer verwenden" aus.
  3. Unter Computernutzung aktivieren aktivieren Sie Computernutzung aktivieren.
  4. Erteilen Sie unter macOS unter "Voraussetzungen" beide erforderlichen Berechtigungen:
    • Erteilen **** Sie Barrierefreiheitsberechtigungen, um die Verwendung des Computers für die Interaktion mit Anwendungssteuerelementen zuzulassen.
    • Erteilen sie die Berechtigung " Bildschirmaufzeichnung ", damit computerbezogene Anwendungsfenster überprüft werden können, wenn visueller Kontext erforderlich ist.
  5. Wenn unter macOS keine Berechtigungsänderung erkannt wird, klicken Sie erneut auf "Überprüfen".

Sie können den /computer on Befehl auch in einer Sitzung verwenden. Um den aktuellen Plugin- und MCP-Status zu überprüfen, verwenden Sie /computer show.

Computernutzung verwenden

Die Computerverwendung funktioniert am besten, wenn Sie das gewünschte Ergebnis, die beteiligten Anwendungen und alle wichtigen Einschränkungen beschreiben.

Beispiel:

Text
Open APP_NAME and summarize the status information shown in the
main window. Do not change any values or submit any forms.

Ersetzen Sie den APP_NAME Namen einer anwendung, die auf Ihrem Computer installiert ist.

Die Computerverwendung folgt der Einstellung " Toolberechtigungen " der App. Diese Einstellung bestimmt, ob Copilot um Erlaubnis bittet, bevor eine Anwendung gesteuert wird. Um die Einstellung zu überprüfen oder zu ändern, öffnen Sie die App-Einstellungen und wählen Sie Sitzungen aus. Wenn die Genehmigung erforderlich ist, überprüfen Sie, ob die angeforderte Anwendung und Aktion mit Ihrer Aufforderung übereinstimmen. Wählen Sie dann "Zulassen" aus, um zugriff auf die aktuelle Computerverwendungssitzung zu gewähren, immer zulassen , die Genehmigung für zukünftige Sitzungen zu speichern oder die Anforderung abzulehnen oder abzubrechen.

Um einen aktiven Vorgang zu unterbrechen, klicken Sie auf 'Beenden ', oder drücken Sie ESC.

Überprüfen immer zulässiger Anwendungen

Wenn Sie "Immer zulassen" oder GitHub Copilot app"Zulassen" GitHub Copilot CLI auswählen, wird die Genehmigung gespeichert und gilt für beide Oberflächen auf demselben Computer.

  1. Öffnen Sie die Einstellungen für GitHub Copilot app.
  2. Wählen Sie in der Randleiste " Computer verwenden" aus.
  3. Klicken Sie unter "Immer zulässige Apps" auf das Löschsymbol neben der Anwendung.

Durch das Entfernen einer Anwendung wird die gespeicherte Genehmigung für zukünftige Sitzungen sowohl in der App als auch in der CLI gelöscht. Der Zugriff wird nicht widerrufen, der bereits in einer laufenden Sitzung gewährt wurde. Klicken Sie auf Stop oder drücken Sie Esc, um den laufenden Vorgang zu beenden. Beenden Sie die Sitzung, um den anwendungszugriff zu widerrufen, der dieser Sitzung gewährt wurde.

Deaktivieren der Computerverwendung

Öffnen Sie die Einstellungen für GitHub Copilot app. Wählen Sie in der Seitenleiste Computernutzung aus und deaktivieren Sie dann Computernutzung aktivieren.

Sie können auch in einer Sitzung verwenden /computer off .

Fehlerbehebung bei der Computernutzung

  • Wenn die Seite „Computer Use-Einstellungen“ nicht verfügbar ist, vergewissern Sie sich, dass die Funktion für Ihr Konto und Ihr Betriebssystem verfügbar ist.
  • Unter macOS: Wenn die Computerverwendung nicht mit Anwendungen interagieren kann, vergewissern Sie sich, dass unter Voraussetzungen sowohl Bedienungshilfen als auch Bildschirmaufnahme als Gewährt angezeigt werden.