Workshops: KI-Tools im Arbeitsalltag
Lokale LLMs & Datensouveränität: Ollama, Mistral, Llama – Workshop
In diesem Workshop erfahren IT- und Entwicklungsteams, wie sie Sprachmodelle mit offenen Gewichten lokal oder in eigener Cloud betreiben – für maximale Kontrolle über sensible Daten. Sie installieren Modelle mit Ollama, vergleichen Open-Weight-Modelle, bauen eine einfache Dokumentensuche und bewerten realistisch, wann sich der Eigenbetrieb lohnt.
Für wen ist der Workshop?
- IT-Infrastruktur, Plattform- und DevOps-Teams
- Entwicklungsteams und AI Engineers
- Unternehmen mit besonders sensiblen Daten, etwa Gesundheit, Verteidigung, Forschung
- Öffentliche Verwaltung und KRITIS-Betreiber
- CTOs und Architekten, die eine KI-Plattformstrategie entwickeln
Das nehmen Sie mit
- Sie verstehen den Unterschied zwischen Open-Weight-Modellen, Open Source und proprietären API-Modellen inklusive Lizenzfragen.
- Sie installieren und betreiben Modelle mit Ollama und kennen Alternativen wie LM Studio, llama.cpp und vLLM.
- Sie schätzen den Hardwarebedarf je nach Modellgröße und Quantisierung realistisch ein.
- Sie bauen eine einfache RAG-Anwendung, die Fragen zu internen Dokumenten lokal beantwortet.
- Sie bewerten Kosten, Qualität und Betriebsaufwand im Vergleich zu Cloud-Angeboten.
Agenda
Modul 1
Warum lokal?
- Datensouveränität, Vertraulichkeit, Offline-Fähigkeit
- Grenzen: Modellqualität, Betrieb, Kosten
- Hybride Szenarien mit Cloud-Modellen
Modul 2
Modelle und Lizenzen
- Mistral, Llama, Qwen, Gemma und weitere Open-Weight-Familien
- Lizenzbedingungen und kommerzielle Nutzung
- Benchmarks vs. eigene Tests
Modul 3
Hands-on mit Ollama
- Installation und erste Modelle
- Quantisierung und Hardwarebedarf
- API-Zugriff und Integration in Tools
Modul 4
Lokale Dokumentensuche (RAG)
- Embeddings und Vektordatenbank
- Pipeline für interne Dokumente
- Qualität messen und verbessern
Modul 5
Produktivbetrieb
- Serving mit vLLM und GPU-Planung
- Zugriffskontrolle, Logging, Updates
- Sicherheitsrisiken wie Prompt Injection auch lokal
Wann sich lokale Modelle lohnen
Lokale Modelle sind sinnvoll, wenn Daten das Haus nicht verlassen dürfen, wenn Sie unabhängig von Anbietern bleiben wollen oder wenn große Mengen gleichartiger Aufgaben anfallen, etwa Klassifizierung oder Extraktion. Für anspruchsvolle Wissensarbeit sind die stärksten Cloud-Modelle wie Claude oder GPT oft noch überlegen.
Wir helfen Ihnen, diese Abwägung nüchtern und anhand Ihrer Use Cases zu treffen.
Im Workshop arbeiten alle Teilnehmenden an eigenen Rechnern oder einer bereitgestellten Umgebung. So sehen Sie unmittelbar, wie sich Modellgröße, Quantisierung und Hardware auf Geschwindigkeit und Qualität auswirken.
Lokal heißt nicht automatisch sicher
Ein lokal betriebenes Modell schützt vor Datenabfluss an Dritte, aber nicht vor allen Risiken. Offene API-Endpunkte im Netzwerk, fehlende Zugriffskontrolle oder Prompt Injection über Dokumente sind auch On-Premise reale Gefahren.
- Endpunkte nicht ungeschützt im Netz betreiben
- Zugriffe protokollieren und Rollen vergeben
- Modelle und Laufzeitumgebungen aktuell halten
Hybride Strategien
Viele Unternehmen kombinieren lokale Modelle für sensible Daten mit Cloud-Diensten wie Claude, ChatGPT oder Mistral Le Chat für allgemeine Aufgaben. Unsere AI Solutions Architects und AI Code Engineers unterstützen Sie bei Architektur, Auswahl und Umsetzung.
Häufige Fragen
Welche Hardware brauchen wir?
Kleine Modelle laufen bereits auf leistungsfähigen Laptops, größere benötigen GPUs mit viel Grafikspeicher. Im Workshop schätzen wir den Bedarf für Ihre konkreten Anwendungsfälle ab.
Sind lokale Modelle so gut wie ChatGPT oder Claude?
Für viele klar umrissene Aufgaben liefern sie gute Ergebnisse. Bei komplexer Analyse, langen Kontexten oder anspruchsvollem Coding sind führende Cloud-Modelle meist stärker.
Brauchen die Teilnehmenden Programmierkenntnisse?
Grundkenntnisse in Kommandozeile und idealerweise Python sind hilfreich, da der Workshop sehr praxisorientiert ist.
Workshop
Kontakt aufnehmen
Möchten Sie prüfen, ob lokale LLMs für Ihre sensiblen Daten die richtige Lösung sind?
Erzählen Sie uns kurz von Ihrem Team – wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für Inhalte, Format und Termin.
Lieber direkt sprechen?
Weitere Workshops
- Workshops: KI-Tools im ArbeitsalltagKI-Meeting-Assistenten datenschutzkonform nutzen: Workshop
- Workshops: KI-Tools im ArbeitsalltagKI-Übersetzung & Schreibassistenten: DeepL, ChatGPT, Claude
- Workshops: KI-Tools im ArbeitsalltagKI-Grundlagen für alle Mitarbeitenden: KI-Kompetenz-Schulung
- Deployen, Konvertieren & SkalierenReplit-App in Produktion bringen: eigene Domain und Secrets
