Optimieren deiner KI-basierten App mit Modellen

Es werden regelmäßig neue KI-Modelle veröffentlicht, wodurch die Auswahl des richtigen Modells für deine App schwierig sein kann. GitHub Models hilft dir, deine KI-basierte App zu optimieren. Anhand von Beispieleingaben kannst du verschiedene Modelle und Promptvariationen vergleichen und dabei integrierte Auswerter verwenden, um die Modellausgabe zu validieren.

In einem Beispielszenario erstellen wir einen KI-basierten Assistenten, der Benutzern hilft, zu verstehen, wie sie Git über die Befehlszeile verwenden. Wir werden durch den Vergleich verschiedener Modelle geführt, und du erfährst, wie du Promptvariationen verfeinerst, um die Ausgabequalität zu verbessern.

Testen eines Prompts

Mit der GitHub Models-Ansicht Comparisons kannst du Modellparameter und Prompts anpassen, um die Modellausgabe zu testen.

1. Erstellen eines Beispielrepositorys

Du kannst auf die Ansicht Comparisons direkt über die Registerkarte Models in jedem Repository zugreifen. In diesem Leitfaden erstellen wir jedoch ein neues Repository, das als Testumgebung verwendet werden soll.

1. Navigiere zur Seite des neuen Repositorys.
2. Vergewissere dich, dass dein Benutzerkonto unter „Owner“ ausgewählt ist.
3. Gib models-playground in das Feld „Repository name“ ein.
4. Wähle unter dem Beschreibungsfeld Private als Repositorysichtbarkeit aus.
5. Klicke auf Repository erstellen.

2. Erstellen eines neuen Prompts

1. Klicke auf der Hauptseite deines neuen Repositorys auf die Registerkarte Models.
2. Klicke im Abschnitt „Prompts“ auf New Prompt.
3. Wähle in der oberen linken Ecke ein Modell aus dem Dropdownmenü aus.

3. Schreiben eines Systemprompts

Ein Systemprompt ist eine Reihe von Anweisungen, die die Rolle, das Verhalten und die Einschränkungen eines KI-Modells definieren, bevor es mit Benutzern interagiert. In diesem Beispiel arbeiten wir an einer KI-basierten App, die erläutert, wie Git über die Befehlszeile verwendet wird.

Kopiere im Feld System prompt den folgenden Text, und füge ihn ein:

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

4. Schreiben eines Benutzerprompts

Der Benutzerprompt ist die direkte Frage oder Anweisung an ein KI-System während ihrer Unterhaltung, auf die das KI-System reagiert.

Kopiere im Feld User prompt den folgenden Text, und füge ihn ein:

I want to learn how to use Git from the command line. 

I want to learn how to use Git from the command line. 

5. Eingeben von Beispieleingaben

Die Variable {{input}} im User prompt fungiert als Platzhalter für die Beispieleingabe. Klicke zum Verwalten dieses Platzhalters auf die Schaltfläche Variables und gib den folgenden Text ein:

When should I use rebase or merge?

When should I use rebase or merge?

6. Ausführen des Beispielprompts

1. Klicke in der oberen rechten Ecke auf Play.
2. Nimm eine Änderung am Modell oder Prompt vor und führe den Prompt noch mal aus, um zu sehen, welche Ergebnisse du bekommst.

Testen verschiedener Modelle anhand eines Prompts

Lass uns nun anhand der Ansicht Comparisons bestimmen, welches Modell für unsere App am besten geeignet ist. Mit dieser Ansicht kannst du verschiedene Modelle für dieselbe Eingabe testen, wodurch Unterschiede bei Genauigkeit, Kreativität, Ton, Begründung und Zuverlässigkeit aufgezeigt werden. Dies wird uns helfen, das Modell auszuwählen, das unseren Anforderungen an Qualität, Geschwindigkeit, Kosten und Konsistenz am ehesten entspricht.

1. Klicke in der linken oberen Ecke auf Comparisons.

2. Klicke zum Vergleichen verschiedener Modelle auf Add prompt und wähle Copy original prompt aus, um deine vorhandenen System- und Benutzerprompts zu duplizieren. Erstelle mindestens zwei Kopien des ursprünglichen Prompts, um drei verschiedene Modelle auszuwerten.

3. Klicke neben jedem Prompt auf . Wähle im Dropdownmenü Model ein anderes Modell für jeden von dir erstellten Prompt aus.

4. Klicke auf Add inputs, um neue Zeilen für Beispieleingaben zu erstellen.

   • Klicke auf Add inputs. Kopiere dann im Feld „Input“ den folgenden Text, und füge ihn ein:

     Text

     How do I modify the most recent commit message in my current branch?   
     

   • Klicke noch mal auf Add inputs, und füge dann die folgende Eingabe ein:

     Text

     How do I move a specific commit from one branch to a different branch?
     

   • Klicke noch mal auf Add inputs, und füge dann diese Eingabe ein:

     Text

     How do I find the author of a specific commit in a repository's history?
     

5. Klicke zum Ausführen der Prompts in der oberen rechten Ecke auf Run.

6. Probiere verschiedene Modelle anhand deines Prompts aus, und notiere dir die Latency und die Input- und Output-Tokennutzung der verschiedenen Modelle.

Testen von Promptvariationen mit einem bestimmten Modell

Wenn du eine App mit einem bestimmten KI-Modell erstellst, benötigst du Antworten, die vorhersehbar und zuverlässig sind. Das Testen von Promptvariationen hilft dir bei folgenden Aktionen:

• Leistung und Qualität optimieren: Leichte Änderungen an Ausdrücken können sich auf die Antwortqualität auswirken. Durch das Testen von Variationen findest du den Wortlaut, der die beste Antwort bekommt.
• Klare Anweisungen geben: Wenn du die Ausdrucksweise deines Prompts variierst, kannst du ermitteln, welche Version das Modell am deutlichsten versteht.
• An ein bestimmtes Modellverhalten anpassen: Du kannst deine Eingabe daran anpassen, wie ein bestimmtes Modell die Sprache interpretiert.
• Das Format der Ausgabe überprüfen: Möglicherweise möchtest du eine Liste, einen Absatz, einen Codeblock oder einen bestimmten Ton. Das Testen der Promptvariation hilft dir, eine bestimmte Struktur oder einen bestimmten Stil zu erzwingen.

Verwenden wir nun GitHub Models zum Testen von Promptvariationen für die Benutzereingabe für dein bestimmtes Modell.

1. Hinzufügen von Promptvariationen

Wähle in diesem Beispielszenario dasselbe Modell für jede Spalteaus, stelle jedoch eine andere Promptvariation bereit. Bearbeite dazu das Feld „User prompt“ der vorhandenen Prompts. Klicke neben jedem Prompt auf .

1. Klicke in „Prompt 2“ auf . Kopiere dann im Feld „User prompt“ den folgenden Text, und füge ihn ein:

   Text

   I want to learn how to use Git from the command line, but explain it to me like I am five years old.   
   

2. Klicke in „Prompt 3“ auf , und füge dann die folgende Eingabe ein:

   Text

   I want to learn how to use Git from the command line. Give me instructions in the form of a haiku. 
   

2. Ausführen von Promptvariationen

1. Klicke zum Ausführen der Prompts in der oberen rechten Ecke auf Run.
2. Probiere verschiedene Promptvariationen aus, und vergleiche die Ausgabetypen, die das Modell bietet.

Auswerten der Modellausgabe

Wir haben verschiedene Modelle und Promptvariationen in GitHub Models getestet, und im nächsten Schritt werden die Ergebnisse interpretiert und verglichen, um fundierte Entscheidungen für unsere KI-basierte App zu treffen.

Während du die Modelle in den Beispielszenarios ausgeführt hast, wurden die Input- und Output-Tokenverwendung und Latency nach jeder Ausführung angezeigt. Die Tokenverwendung ist wichtig, da sie sich direkt auf Kosten-, Leistungs- und Modelleinschränkungen auswirkt.

• Da die meisten Modelle eine Gebühr pro Token sowohl für die Eingabe als auch für die Ausgabe vorsehen, erhöht die Verwendung weiterer Token deine Kosten.
• Jedes Modell verfügt auch über einen maximalen Tokengrenzwert (als Kontextfenster bezeichnet), und eine Überschreitung kann zu Fehlern oder abgeschnittenen Antworten führen.
• Längere Prompts können die Antwortzeit verlängern oder die Klarheit reduzieren, während präzise Prompts häufig zu besseren, effizienteren Ausgaben führen.

Die Verwendung von GitHub Models zum Testen der Tokenverwendung und Latenz hilft dir, innerhalb der Grenzwerte zu bleiben, Kosten zu verwalten und die Gesamteffektivität deiner KI-basierten App zu verbessern.

Verwenden von Auswertern zum Beurteilen der Ausgabe

Abhängig von der Anzahl der Prompts und Modelle, die du auswertest, kann die Modellausgabe zu groß sein, um sie manuell durchzusehen. Zum Bewerten der Qualität der Ausgabe jedes Modells kannst du Auswerter verwenden, um Ergebnisse in wichtigen Dimensionen wie Klarheit, Genauigkeit und Relevanz zu bewerten. Du kannst eigene Auswertungskriterien definieren oder integrierte Auswerter verwenden, um Ausgaben automatisch zu bewerten. Dadurch wird es leichter, das leistungsstärkste Modell und die leistungsstärkste Promptvariation zu identifizieren.

In diesem Beispielszenario verwenden wir den Auswerter String check, um in der Ausgabe nach einer Zeichenfolge zu suchen.

1. Klicke in der unteren rechten Ecke des Felds Prompts auf Add evaluator und wähle String check aus.

2. Gib im Feld Name „Amend check“ ein, kopiere und füge dann die folgende Eingabe für das Feld Value ein:

   Text

   git commit --amend
   

3. Klicke zum Ausführen der Prompts in der oberen rechten Ecke auf Run.

4. Die Passausgabe zeigt nun eine Pass- oder Fail-Bezeichnung an und informiert dich, welches Modell die erforderliche Zeichenfolge enthält.

Weitere Informationen zu den vordefinierten Auswertern wie Ähnlichkeit, Fundiertheit und Relevanz findest du unter Auswerten von KI-Modellen.

Nächste Schritte

Nachdem du nun untersucht hast, wie du mit GitHub Models Modelle testen, Prompts verfeinern und Ausgaben auswerten kannst, kannst du mit dem Erstellen von Prompts für deine KI-basierte App beginnen. Nachdem du einen Prompt erstellt hast, kannst du ihn speichern, versionieren und freigeben, indem du eine .prompt.yml-Datei in dein Repository committest. Dadurch bleiben deine Prompts unter der Versionskontrolle, und es wird eine einfache Zusammenarbeit bei der Optimierung von Prompts und Modellen ermöglicht. Weitere Informationen finden Sie unter Speichern von Prompts in GitHub-Repositorys.

Community beitreten

Eine Möglichkeit für Fragen und Feedback findest du unter GitHub Models discussion post.
Wenn du mehr darüber erfahren möchtest, wie andere GitHub Models nutzen, besuche unsere GitHub-Community unter GitHub Community discussions for Models.