Messen des Erfolgs einer GitHub Copilot-Testversion

Wenn Sie einen Copilot Test durchführen, ist der Schlüssel zum Erfolg, zu verstehen, wie Teams Copilot einführen und verwenden. Durch die Kombination von Erkenntnissen aus dem Copilot Dashboard für Nutzungsmetriken und der API können Sie frühe Ergebnisse bewerten, Aktivierungsanforderungen identifizieren und entscheiden, ob das Rollout erweitert werden soll.

In diesem Tutorial lernen Sie:

1. Definieren Sie klare Testziele und Erfolgskriterien.
2. Anzeigen und Interpretieren von Einführungs- und Einsatzdaten im Dashboard.
3. Bewerten Sie Ihre Testergebnisse.
4. Integrieren Sie qualitatives Feedback von Entwicklern.
5. Erweitern Sie Ihre Auswertung über die Copilot Verwendungsmetriken-API.
6. Entscheiden Sie, ob das Rollout erweitert werden soll.

Schritt 1: Definieren Ihrer Testziele

Bevor Sie Metriken analysieren, entscheiden Sie, welche Ergebnisse eine erfolgreiche Testversion für Ihre Organisation definieren. Das Festlegen klarer Ziele erleichtert die Interpretation von Ergebnissen und die Kommunikation von Werten an die Projektbeteiligten.

Beispielziel	Wie der Erfolg aussieht	Verknüpfte Metriken
Einführung	Die meisten lizenzierten Entwickler aktivieren und nutzen Copilot regelmäßig.	Gesamtzahl der aktiven Benutzer, tägliche aktive Benutzer (DAU), wöchentlich aktive Benutzer (WAU)
Bindung	Entwickler erkunden mehrere Features und Modi.	Anforderungen pro Chatfunktion, Agentakzeptanz
Produktivität und Zufriedenheit	Entwickler melden Effizienzgewinne und Vertrauen in Vorschläge.	Akzeptanzrate, internes Feedback, Zufriedenheitsumfragen
Aktivierungseffektivität	Teams verstehen, wie und wann sie Copilot verwenden.	Breite der Verwendung über Sprachen und IDEs hinweg

Schritt 2: Anzeigen von Einführungs- und Engagementmetriken im Dashboard

1. Navigieren Sie zu Ihrem Unternehmen. Beispielsweise auf der Seite Unternehmen in GitHub.com.
2. Klicke auf die Registerkarte Erkenntnisse.

Das Dashboard zeigt 28 Tage aggregierte IDE-Telemetriedaten für alle lizenzierten Benutzer an. Konzentrieren Sie sich während der Testversion auf diese wichtigen Metriken :

Metric	Was es zeigt	Warum das wichtig ist
Gesamtzahl der aktiven Benutzer	Die Anzahl der Entwickler, die mindestens einmal während des Testzeitraums verwendet haben Copilot .	Gibt die Lizenzaktivierung und die Gesamtreichweite an.
Tägliche aktive Benutzer (DAU)	Die Anzahl der eindeutigen Benutzer, die jeden Tag aktiv sind.	Zeigt frühzeitige Einführungstrends an – ob Interesse wächst, stabil oder rückläufig.
Agenteneinführung	Prozentsatz der aktiven Benutzer, die Copilot-Agent verwendet haben.	Zeigt Tiefe des Engagements und der Erkundung über grundlegende Fertigstellungen hinaus.
Akzeptanzrate	Anteil der akzeptierten Copilot Vorschläge.	Spiegelt Relevanz und Vertrauen wider – Schlüsselindikatoren für Wert und Benutzerzufriedenheit.
Sprach- und Modellverwendung	Verteilung der verwendeten Programmiersprachen und -modelle.	Hilft dabei, zu ermitteln, wo Copilot teamübergreifend den größten Mehrwert bietet.

Schritt 3: Bewerten der Testergebnisse

Vergleichen Sie Ihre Dashboarddaten mit Ihren Testzielen. Zu den allgemeinen Erfolgsindikatoren gehören:

Ziel	Was zu messen ist	Anzeichen für Erfolg
Lizenzaktivierung	Gesamtzahl der aktiven Benutzer	70 bis 90% von Testlizenzen zeigen die Nutzung innerhalb des ersten Monats an.
Nachhaltiges Engagement	Tägliche und wöchentlich aktive Benutzer	DAU und WAU stabilisieren oder erhöhen sich im Laufe der Zeit.
Breite der Nutzung	Anforderungen pro Chatfunktion, Sprachverwendung	Benutzer experimentieren in mehreren Sprachen und Features.
Tiefe der Nutzung	Agenteneinführung, Akzeptanzrate	Entwickler untersuchen erweiterte Copilot Funktionen.
Positive Rückmeldungen	Teamumfragen oder internes Feedback	Entwickler melden Produktivitätsgewinne oder Workflowverbesserungen.

Wenn mindestens ein Ziel nicht erfüllt ist, überlegen Sie, ob vor dem Erweitern des Rollouts möglicherweise zusätzliche Aktivierungs-, Kommunikations- oder IDE-Konfiguration erforderlich ist.

Schritt 4: Integrieren qualitativer Feedback

Während Die Akzeptanz und das Engagement quantitativ sind, helfen Ihnen Zufriedenheitsmetriken, wahrgenommenen Wert und Entwicklerstimmungen zu verstehen. Berücksichtigen Sie die Einbeziehung der folgenden Feedbackquellen von außen GitHubin Ihre Analyse.

Quelle	Description
Copilot Zufriedenheitsumfragen	Regelmäßiges Feedback von Entwicklern zu Nützlichkeit, Vertrauen und Produktivität.
Interne Feedbackkanäle	Team-Retrospektive oder Impulsumfragen zu Workflowänderungen und wahrgenommenen Geschwindigkeitsgewinnen.
Trends im Support	Weniger "Wie mache ich..." Fragen im Laufe der Zeit deuten oft auf erhöhtes Vertrauen und Zufriedenheit hin.

Durch die Kombination von Nutzungsmetriken mit Entwicklerfeedback erhalten Sie die umfassendste Ansicht der CopilotAuswirkungen.

Schritt 5: Erweitern Sie Ihre Auswertung über die API für Nutzungsmetriken Copilot

Nach Der Testversion können Sie die Akzeptanz und das Engagement weiterhin über die Copilot Api für Nutzungsmetriken überwachen. Die API bietet Ihnen mehr Kontrolle darüber, welche Daten Sie sammeln und wie oft Sie sie analysieren.

Abrufen unternehmensweiter Daten

Sie können die Copilot Endpunkte der Nutzungsmetrik verwenden, um 28-Tage-Nutzungsberichte für Ihr Unternehmen herunterzuladen. Diese Berichte enthalten denselben Datensatz, der im Copilot Dashboard für Nutzungsmetriken angezeigt wird. Die API stellt zwei Endpunkte bereit.

Endpunkt	Description
GET /enterprises/{enterprise}/copilot/metrics/reports/enterprise-28-day/latest	Gibt einen signierten Downloadlink für den neuesten 28-Tage-Nutzungsbericht auf Unternehmensebene zurück.
GET /enterprises/{enterprise}/copilot/metrics/reports/users-28-day/latest	Gibt einen signierten Downloadlink für den neuesten 28-tägigen Nutzungsbericht auf Benutzerebene zurück.

Jede Endpunktantwort enthält zeitlich begrenzte signierte URLs zum Herunterladen der Berichte aus Azure Blob Storage sowie den Berichtszeitraum, der von der Datei abgedeckt wird.

Beispielantwort:

{
  "download_links": [
    "https://example.com/copilot-usage-report.ndjson"
  ],
  "report_start_day": "2025-07-18",
  "report_end_day": "2025-08-14"
}

Vollständige Felddefinitionen finden Sie unter GitHub Copilot-Nutzungsmetriken.

Automatisieren Der Berichterstellung

Um Ihre Berichterstellung zu automatisieren, können Sie einen geplanten Auftrag einrichten, um die API in regelmäßigen Abständen (z. B. täglich oder wöchentlich) aufzurufen und die Ergebnisse in einer Datenbank oder data warehouse zur weiteren Analyse zu speichern. Auf diese Weise können Sie Trends im Laufe der Zeit nachverfolgen und benutzerdefinierte Berichte nach Bedarf generieren.

Schritt 6: Entscheiden, ob das Rollout erweitert werden soll

Verwenden Sie Ihre Ergebnisse aus dem Dashboard und api-Daten, um eine fundierte Entscheidung über die Erweiterung Copilot der Nutzung zu treffen.

Entscheidungsbereich	Wichtige Fragen	Unterstützende Metriken
Einführung	Sind die meisten Testbenutzer aktiv? Haben sie Copilot weiterhin konsequent verwendet?	Gesamtzahl der aktiven Benutzer, Tägliche Aktive Nutzer (DAU), Wöchentliche Aktive Nutzer (WAU)
Aktivierungsanforderungen	Benötigen Teams weitere Anleitungen oder Ressourcen?	Niedrige oder inkonsistente Verwendung über Sprachen oder Modelle hinweg
Bindung	Untersuchen Entwickler Funktionen und Möglichkeiten über grundlegende Vervollständigungen hinaus?	Agentakzeptanz, Chatanfragen pro Feature
Befriedigung	Finden Teams Copilot wertvolle Informationen?	Akzeptanzrate, Feedback aus Umfragen

Dokumentieren Sie Ihre Ergebnisse, und teilen Sie sie mit den Projektbeteiligten zusammen, um die nächste Phase Ihres Rollouts zu informieren.

Nächste Schritte

Nachdem Sie nun wissen, wie Sie den Erfolg Ihrer Copilot Testversion messen können, können Sie die Akzeptanz und das Engagement weiterhin überwachen, während Sie die Nutzung erweitern. Weitere Informationen zur Förderung der Akzeptanz und zur Aktivierung von Entwicklern finden Sie unter Fördern der GitHub Copilot-Einführung in Ihrem Unternehmen.