Generative KI muss nicht für jede Aufgabe in einer öffentlichen Cloud laufen. Kleine und quantisierte Sprachmodelle können heute auf leistungsfähigen Notebooks, Macs, PCs oder eigenen Servern eingesetzt werden. Das eröffnet neue Möglichkeiten – besonders dann, wenn Quellcode, Protokolle, Verträge, Kundendokumente oder internes Wissen verarbeitet werden sollen.
Im vierstündigen Workshop ging es deshalb nicht um ein pauschales „lokal statt Cloud“. Im Mittelpunkt stand eine bessere Architekturentscheidung: Welche Daten werden verarbeitet? Welche Qualität wird benötigt? Wer betreibt das System? Und welche Lösung ist für den konkreten Anwendungsfall wirtschaftlich und organisatorisch sinnvoll?
Cloud oder lokal ist keine Glaubensfrage
Cloudmodelle bieten hohe Leistung, einen schnellen Einstieg und laufend neue Funktionen. Lokale Modelle können dagegen Datenhoheit, Offline-Fähigkeit, Kostenkontrolle und Unabhängigkeit stärken. Gleichzeitig entstehen neue Aufgaben für Hardware, Updates, Absicherung, Monitoring und Qualitätssicherung.
Lokaler Betrieb ist kein automatisches Datenschutzsiegel. Er ist eine technische Option, die erst durch ein sauberes Berechtigungs-, Betriebs- und Löschkonzept belastbar wird.
Auch die Aussage „Daten verlassen das Unternehmen nicht“ gilt nur, wenn der gesamte Ablauf entsprechend gestaltet ist – also ohne ungewollte Telemetrie, externe Plugins, Cloud-Embeddings oder angebundene Webdienste.
Vom Modell zum nutzbaren Arbeitsplatz
Der erste Praxisteil führte von der Installation bis zur ersten lokalen Unterhaltung mit einem Sprachmodell. Werkzeuge wie Ollama oder LM Studio erleichtern den Einstieg, während Open WebUI eine vertraute Oberfläche für unterschiedliche Modelle, Nutzer:innen und Wissensquellen bereitstellen kann.
Die Teilnehmenden konnten nachvollziehen, wie sich Modellgröße, Quantisierung, Geschwindigkeit und verfügbare Hardware gegenseitig beeinflussen. Nicht das größte Modell gewinnt automatisch. Für viele klar abgegrenzte Aufgaben ist ein kleineres, schnelleres Modell die vernünftigere Wahl.
Eigene Dokumente mit RAG nutzbar machen
Ein Schwerpunkt war Retrieval-Augmented Generation, kurz RAG. Dabei erhält ein Sprachmodell bei jeder Anfrage passende Ausschnitte aus freigegebenen Unternehmensdokumenten. Das Modell wird nicht mit diesen Unterlagen neu trainiert, sondern bekommt den benötigten Kontext gezielt für die jeweilige Aufgabe.
Ein nachvollziehbarer RAG-Prozess umfasst typischerweise:
- geeignete Dokumente auswählen und bereinigen,
- Inhalte in durchsuchbare Abschnitte zerlegen,
- zur Frage passende Stellen ermitteln,
- Antwort und Quellen gemeinsam ausgeben,
- Qualität mit vorbereiteten Testfragen prüfen.
So kann beispielsweise eine interne Wissensbasis zu Produkten, Abläufen oder technischen Dokumentationen entstehen. Entscheidend bleiben aktuelle Quellen, nachvollziehbare Zugriffe und die fachliche Prüfung der Antworten.
Konkrete Einsatzfelder in IT-Unternehmen
Im Workshop wurden zahlreiche Aufgaben betrachtet, bei denen lokale KI einen pragmatischen Einstieg ermöglicht:
- Quellcode erklären, dokumentieren und als zusätzliche Prüfhilfe analysieren,
- Supporttickets vorsortieren und Antwortentwürfe vorbereiten,
- Logdateien strukturieren und Auffälligkeiten für die weitere Analyse hervorheben,
- Besprechungen lokal transkribieren und in Aufgaben oder Protokolle überführen,
- interne Dokumentationen und Wissensbestände gezielt befragen,
- sowie wiederkehrende Entwürfe für Angebote oder technische Beschreibungen vorbereiten.
Ein KI-System übernimmt dabei nicht automatisch die fachliche Verantwortung. Es beschleunigt vorbereitende Arbeit und macht Informationen leichter zugänglich. Freigaben, sicherheitskritische Entscheidungen und verbindliche Aussagen bleiben bei Menschen.
Sicherheit bleibt Führungs- und Betriebsaufgabe
Auch ein lokal betriebenes Modell kann halluzinieren, auf manipulierte Inhalte reagieren oder über angebundene Werkzeuge zu weitreichende Aktionen ausführen. Deshalb gehören klare Leitplanken bereits in den ersten Prototyp:
- minimale Berechtigungen nach dem Least-Privilege-Prinzip,
- menschliche Freigabe vor externen oder irreversiblen Aktionen,
- Protokollierung und nachvollziehbare Versionen,
- getrennte Test- und Produktivumgebungen,
- ein festes Set realistischer Prüffragen und Negativtests,
- sowie eine klare Einordnung von Modell- und Softwarelizenzen.
Die wichtigste Empfehlung: klein anfangen und messen
Der sinnvollste Einstieg ist selten eine unternehmensweite KI-Plattform. Besser ist ein klar abgegrenzter Anwendungsfall mit bekannten Daten, einer verantwortlichen Fachperson und einem messbaren Ziel.
Erst wenn Qualität, Geschwindigkeit, Betriebsaufwand und tatsächlicher Nutzen geprüft sind, sollte die Lösung erweitert werden. Lokale und cloudbasierte KI können dabei nebeneinander bestehen. Entscheidend ist nicht der Standort des Modells allein, sondern ein belastbarer Gesamtprozess.
Workshop-Rückblick · 16. Juni 2026
Lokale KI-Power: Datensichere KI-Lösungen für IT-Unternehmen
Am Dienstag, 16. Juni 2026, leitete ich von 09:00 bis 13:00 Uhr im WIFI den Workshop „Lokale KI-Power“. Unternehmer:innen, Geschäftsführer:innen und leitende Angestellte aus der Berufsgruppe Informationstechnologie erprobten, wie generative KI auf eigener Hardware betrieben und sinnvoll in Unternehmensprozesse eingebunden werden kann.