Workshops: Prompt Engineering
Prompt Injection verstehen und abwehren: Security-Schulung
Diese Schulung zeigt, wie Angreifer Sprachmodelle über manipulierte Eingaben, Dokumente, E-Mails oder Webseiten zu unerwünschten Aktionen bringen – und was Sie dagegen tun können. Sie erleben direkte und indirekte Prompt Injection in Live-Demos und entwickeln eine Schutzarchitektur für Ihre KI-Anwendungen und Agenten.
Für wen ist der Workshop?
- IT-Security- und Informationssicherheitsteams
- Entwicklerinnen und Entwickler von LLM-Anwendungen und Agenten
- Software-Architekten und Plattform-Teams
- Informationssicherheitsbeauftragte und CISOs
- Verantwortliche für den Rollout von Copilots und KI-Assistenten
Das nehmen Sie mit
- Sie unterscheiden direkte und indirekte Prompt Injection, Jailbreaks und Datenabfluss.
- Sie erkennen Angriffspfade in Chatbots, RAG-Systemen, Copilots und Agenten mit Werkzeugen.
- Sie wissen, warum es keinen vollständigen Schutz allein über Prompts gibt.
- Sie setzen mehrschichtige Gegenmaßnahmen um: Berechtigungen, Isolation, Filter, menschliche Freigaben.
- Sie führen einfache Red-Teaming-Tests für eigene Anwendungen durch.
- Sie verankern LLM-Risiken in Ihrem Informationssicherheits-Managementsystem.
Agenda
Modul 1
Die Angriffsfläche von LLMs
- Warum Modelle Anweisungen und Daten nicht sicher trennen
- Überblick über die OWASP Top 10 für LLM-Anwendungen
Modul 2
Angriffe live
- Direkte Injection und Jailbreaks
- Indirekte Injection über Webseiten, E-Mails, PDFs und Kalender
- Datenabfluss über Links, Bilder und Tool-Aufrufe
Modul 3
Agenten und Werkzeuge
- Gefährliche Kombination: private Daten, nicht vertrauenswürdige Inhalte, externe Kommunikation
- Risiken bei MCP-Servern, Browser- und Coding-Agenten
Modul 4
Verteidigung in Schichten
- Least Privilege, Sandboxing und Freigabe-Schritte
- Eingabe- und Ausgabefilter, Kontext-Trennung
- Monitoring und Logging
Modul 5
Red Teaming und Governance
- Übung: Eine Beispielanwendung angreifen und härten
- Prozesse, Richtlinien und Lieferantenbewertung
Warum Prompt Injection das zentrale KI-Sicherheitsrisiko ist
Sprachmodelle verarbeiten Anweisungen und Inhalte im selben Textstrom. Ein präparierter Absatz in einer E-Mail oder auf einer Webseite kann daher wie eine Anweisung wirken. Solange ein Modell nur antwortet, ist der Schaden begrenzt. Sobald es Werkzeuge nutzt, E-Mails versendet oder auf interne Daten zugreift, wird daraus ein ernstes Sicherheitsproblem.
Eine vollständige technische Lösung gibt es derzeit nicht. Wirksam ist eine Architektur, die davon ausgeht, dass Injection gelingen kann, und den möglichen Schaden begrenzt.
Betroffene Systeme
Wir betrachten Angriffe auf Anwendungen, die Ihr Unternehmen einsetzt oder selbst entwickelt.
- KI-Assistenten mit Websuche und Dateiupload: ChatGPT, Claude, Gemini, Mistral Le Chat, Perplexity
- Microsoft 365 Copilot mit Zugriff auf E-Mails und Dokumente
- Coding-Agenten wie Claude Code, Cursor, GitHub Copilot und OpenAI Codex
- Eigene Chatbots, RAG-Systeme und Workflows mit n8n oder Make
Bezug zu ISO 27001 und EU AI Act
jocapps, das Unternehmen hinter neooutput, ist nach ISO 27001 zertifiziert; Informationssicherheit ist für uns Alltag. Wir zeigen, wie LLM-Risiken in ein bestehendes ISMS passen. Der EU AI Act fordert für Hochrisiko-Systeme unter anderem Robustheit und Cybersicherheit, was ausdrücklich auch Manipulationsversuche umfasst.
Häufige Fragen
Kann ein guter System-Prompt Prompt Injection verhindern?
Nein, er kann Angriffe höchstens erschweren. Wirksamer Schutz entsteht durch Architektur: eingeschränkte Berechtigungen, Trennung von Daten und Aktionen sowie menschliche Freigaben für kritische Schritte.
Betrifft das Thema uns, wenn wir nur Copilot oder ChatGPT nutzen?
Ja. Auch Standard-Assistenten verarbeiten externe Inhalte wie Webseiten, E-Mails oder Dokumente. Wir zeigen, welche Einstellungen und Nutzungsregeln das Risiko senken.
Führen Sie auch Sicherheitstests unserer Anwendungen durch?
Im Workshop üben wir an Beispielanwendungen. Tiefergehende Prüfungen eigener Systeme vereinbaren wir auf Wunsch separat mit unseren AI Code Engineers.
Workshop
Kontakt aufnehmen
Sollen wir die Angriffe an einem Ihrer eigenen KI-Systeme durchspielen?
Erzählen Sie uns kurz von Ihrem Team – wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für Inhalte, Format und Termin.
Lieber direkt sprechen?
Weitere Workshops
- Workshops: Prompt EngineeringPrompt Engineering Grundlagen: Schulung für ChatGPT, Claude & Co.
- Workshops: Prompt EngineeringPrompt Engineering für Fortgeschrittene: Workshop mit Praxis
- Workshops: Prompt EngineeringPrompt Engineering für Marketing & Content: Workshop
- Workshops: KI-Automatisierung & AgentenWorkshop: KI-Chatbot für Website & Kundenservice
