Workshops: Prompt Engineering
Prompt-Qualität messen: Workshop zu Evaluation & Tests
Dieser Workshop zeigt, wie Sie die Qualität von Prompts und KI-Assistenten objektiv messen, statt sich auf Einzelbeispiele und Bauchgefühl zu verlassen. Sie bauen Testsets, definieren Bewertungskriterien und richten einen Prozess ein, mit dem jede Prompt- oder Modelländerung nachvollziehbar geprüft wird.
Für wen ist der Workshop?
- Teams, die Custom GPTs, Claude Projects oder Copilot Agents für viele Nutzer bereitstellen
- Entwicklerinnen und Entwickler von LLM-Anwendungen
- Produktverantwortliche für KI-Features
- Qualitätsmanagement und Fachexperten, die KI-Ausgaben abnehmen
- KI-Champions, die Modellwechsel bewerten müssen
Das nehmen Sie mit
- Sie definieren, was ein gutes Ergebnis für Ihren Anwendungsfall konkret bedeutet.
- Sie stellen ein repräsentatives Testset mit typischen, schwierigen und Grenzfällen zusammen.
- Sie entwickeln Bewertungsraster für menschliche und automatisierte Bewertung.
- Sie setzen LLM-as-a-Judge ein und kennen dessen Schwächen.
- Sie vergleichen Prompt-Varianten und Modelle systematisch und dokumentieren Entscheidungen.
- Sie verankern Evals als Regressionstest im Pflegeprozess Ihrer Prompts.
Agenda
Modul 1
Warum Bauchgefühl nicht reicht
- Variabilität von LLM-Ausgaben verstehen
- Typische Fehlschlüsse beim Testen mit drei Beispielen
Modul 2
Qualität definieren
- Kriterien: Korrektheit, Vollständigkeit, Format, Ton, Sicherheit
- Bewertungsraster und Referenzantworten
- Übung: Kriterien für einen eigenen Use Case
Modul 3
Testsets aufbauen
- Echte Anfragen sammeln und anonymisieren
- Grenzfälle, Störeingaben und Missbrauchsversuche ergänzen
Modul 4
Bewerten: Mensch und Maschine
- Menschliche Bewertung effizient organisieren
- LLM-as-a-Judge: Aufbau, Kalibrierung, Bias
- Automatische Prüfungen für Format und Pflichtinhalte
Modul 5
Evals im Alltag
- Prompt-Varianten und Modelle A/B vergleichen
- Regressionstests vor jeder Änderung
- Tools vom Tabellenblatt bis zur Eval-Plattform
Ohne Messung keine Verbesserung
Ein Prompt, der bei drei Testfragen überzeugt, kann bei der vierzigsten versagen. Ein neues Modell kann in einem Bereich besser und im anderen schlechter sein. Wer KI-Assistenten breit ausrollt, braucht deshalb eine Methode, um Qualität messbar zu machen und Änderungen sicher zu bewerten.
Evals klingen nach Entwickler-Thema, sind aber für Fachteams ebenso relevant: Die besten Bewertungskriterien entstehen dort, wo das fachliche Wissen liegt.
Zwei Spuren: Fachteams und Entwickler
Wir passen den Workshop an Ihre Teilnehmenden an. Fachteams arbeiten mit Tabellen und manueller Bewertung in ChatGPT, Claude, Microsoft 365 Copilot, Gemini oder Mistral Le Chat. Entwicklerteams automatisieren Evals per API und integrieren sie in CI-Pipelines, unterstützt durch Coding-Tools wie Claude Code oder Cursor.
Qualität als Teil von Governance
Dokumentierte Tests helfen auch bei Compliance-Anforderungen: Sie zeigen, dass ein KI-Einsatz geprüft und überwacht wird. Für Hochrisiko-Systeme sieht der EU AI Act Anforderungen an Genauigkeit, Robustheit und Überwachung vor. Evals sind ein praktischer Baustein, ersetzen aber keine rechtliche Einordnung.
Häufige Fragen
Wie viele Testfälle brauchen wir?
Für den Anfang reichen oft 30 bis 50 gut ausgewählte Fälle, wenn sie typische und schwierige Anfragen abdecken. Wichtiger als die Menge ist die Repräsentativität.
Ist LLM-as-a-Judge zuverlässig?
Mit klaren Kriterien und Kalibrierung an menschlichen Bewertungen kann es gut funktionieren. Es hat aber eigene Verzerrungen, die wir im Workshop aufzeigen und gezielt prüfen.
Brauchen wir spezielle Software?
Nein. Viele Teams starten mit einer Tabelle und einer festen Bewertungsroutine. Spezialisierte Eval-Tools lohnen sich, wenn Volumen und Änderungsfrequenz steigen.
Workshop
Kontakt aufnehmen
Sollen wir gemeinsam ein Testset für Ihren wichtigsten KI-Assistenten aufbauen?
Erzählen Sie uns kurz von Ihrem Team – wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für Inhalte, Format und Termin.
Lieber direkt sprechen?
Weitere Workshops
- Workshops: Prompt EngineeringPrompt Injection verstehen und abwehren: Security-Schulung
- Workshops: Prompt EngineeringPrompt Engineering Grundlagen: Schulung für ChatGPT, Claude & Co.
- Workshops: Prompt EngineeringPrompt Engineering für Fortgeschrittene: Workshop mit Praxis
- Workshops: Agentic CodingBase44 Workshop: Interne Tools ohne Code bauen
