Workshops: KI-Tools im Arbeitsalltag

Lokale LLMs & Datensouveränität: Ollama, Mistral, Llama – Workshop

In diesem Workshop erfahren IT- und Entwicklungsteams, wie sie Sprachmodelle mit offenen Gewichten lokal oder in eigener Cloud betreiben – für maximale Kontrolle über sensible Daten. Sie installieren Modelle mit Ollama, vergleichen Open-Weight-Modelle, bauen eine einfache Dokumentensuche und bewerten realistisch, wann sich der Eigenbetrieb lohnt.

Für wen ist der Workshop?

  • IT-Infrastruktur, Plattform- und DevOps-Teams
  • Entwicklungsteams und AI Engineers
  • Unternehmen mit besonders sensiblen Daten, etwa Gesundheit, Verteidigung, Forschung
  • Öffentliche Verwaltung und KRITIS-Betreiber
  • CTOs und Architekten, die eine KI-Plattformstrategie entwickeln

Das nehmen Sie mit

  • Sie verstehen den Unterschied zwischen Open-Weight-Modellen, Open Source und proprietären API-Modellen inklusive Lizenzfragen.
  • Sie installieren und betreiben Modelle mit Ollama und kennen Alternativen wie LM Studio, llama.cpp und vLLM.
  • Sie schätzen den Hardwarebedarf je nach Modellgröße und Quantisierung realistisch ein.
  • Sie bauen eine einfache RAG-Anwendung, die Fragen zu internen Dokumenten lokal beantwortet.
  • Sie bewerten Kosten, Qualität und Betriebsaufwand im Vergleich zu Cloud-Angeboten.

Agenda

  1. Modul 1

    Warum lokal?

    • Datensouveränität, Vertraulichkeit, Offline-Fähigkeit
    • Grenzen: Modellqualität, Betrieb, Kosten
    • Hybride Szenarien mit Cloud-Modellen
  2. Modul 2

    Modelle und Lizenzen

    • Mistral, Llama, Qwen, Gemma und weitere Open-Weight-Familien
    • Lizenzbedingungen und kommerzielle Nutzung
    • Benchmarks vs. eigene Tests
  3. Modul 3

    Hands-on mit Ollama

    • Installation und erste Modelle
    • Quantisierung und Hardwarebedarf
    • API-Zugriff und Integration in Tools
  4. Modul 4

    Lokale Dokumentensuche (RAG)

    • Embeddings und Vektordatenbank
    • Pipeline für interne Dokumente
    • Qualität messen und verbessern
  5. Modul 5

    Produktivbetrieb

    • Serving mit vLLM und GPU-Planung
    • Zugriffskontrolle, Logging, Updates
    • Sicherheitsrisiken wie Prompt Injection auch lokal

Wann sich lokale Modelle lohnen

Lokale Modelle sind sinnvoll, wenn Daten das Haus nicht verlassen dürfen, wenn Sie unabhängig von Anbietern bleiben wollen oder wenn große Mengen gleichartiger Aufgaben anfallen, etwa Klassifizierung oder Extraktion. Für anspruchsvolle Wissensarbeit sind die stärksten Cloud-Modelle wie Claude oder GPT oft noch überlegen.

Wir helfen Ihnen, diese Abwägung nüchtern und anhand Ihrer Use Cases zu treffen.

Im Workshop arbeiten alle Teilnehmenden an eigenen Rechnern oder einer bereitgestellten Umgebung. So sehen Sie unmittelbar, wie sich Modellgröße, Quantisierung und Hardware auf Geschwindigkeit und Qualität auswirken.

Lokal heißt nicht automatisch sicher

Ein lokal betriebenes Modell schützt vor Datenabfluss an Dritte, aber nicht vor allen Risiken. Offene API-Endpunkte im Netzwerk, fehlende Zugriffskontrolle oder Prompt Injection über Dokumente sind auch On-Premise reale Gefahren.

  • Endpunkte nicht ungeschützt im Netz betreiben
  • Zugriffe protokollieren und Rollen vergeben
  • Modelle und Laufzeitumgebungen aktuell halten

Hybride Strategien

Viele Unternehmen kombinieren lokale Modelle für sensible Daten mit Cloud-Diensten wie Claude, ChatGPT oder Mistral Le Chat für allgemeine Aufgaben. Unsere AI Solutions Architects und AI Code Engineers unterstützen Sie bei Architektur, Auswahl und Umsetzung.

Häufige Fragen

Welche Hardware brauchen wir?

Kleine Modelle laufen bereits auf leistungsfähigen Laptops, größere benötigen GPUs mit viel Grafikspeicher. Im Workshop schätzen wir den Bedarf für Ihre konkreten Anwendungsfälle ab.

Sind lokale Modelle so gut wie ChatGPT oder Claude?

Für viele klar umrissene Aufgaben liefern sie gute Ergebnisse. Bei komplexer Analyse, langen Kontexten oder anspruchsvollem Coding sind führende Cloud-Modelle meist stärker.

Brauchen die Teilnehmenden Programmierkenntnisse?

Grundkenntnisse in Kommandozeile und idealerweise Python sind hilfreich, da der Workshop sehr praxisorientiert ist.

Workshop

Kontakt aufnehmen

Möchten Sie prüfen, ob lokale LLMs für Ihre sensiblen Daten die richtige Lösung sind?

Erzählen Sie uns kurz von Ihrem Team – wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für Inhalte, Format und Termin.

Lieber direkt sprechen?

Wir verwenden Ihre Angaben nur zur Bearbeitung der Anfrage. Datenschutz.