Chancen und Risiken von KI im Unternehmen
Wenn Führungskräfte über KI sprechen, landet das Gespräch schnell bei einer Frage: Lernt das Modell mit unseren Daten?
Die Sorge ist berechtigt. Doch die Frage nach dem Training greift zu kurz.
Ein Anbieter kann darauf verzichten, Kundendaten für das Training zu verwenden. Für eine Antwort muss er sie trotzdem verarbeiten, und möglicherweise werden sie protokolliert. Training, Verarbeitung, Speicherung und Zugriff sind deshalb getrennt zu betrachten.
Ohne Arbeitskontext bleibt KI allgemein
Ein Sprachmodell kann gut formulieren und zusammenfassen. Den aktuellen Kundenfall und den geltenden Ablauf kennt es aber erst, wenn es die nötigen Informationen erhält.
Für eine Kundenanfrage liegen die Informationen vielleicht in einer E-Mail, einem Auftrag, einem Servicebericht und der Lagerverwaltung. Eine KI könnte daraus den aktuellen Stand, offene Fragen und den nächsten Schritt vorbereiten.
Die zuständige Person muss den Zusammenhang nicht jedes Mal selbst zusammensuchen.
Sobald die KI auf diese Quellen zugreift, entstehen aber auch Risiken. Darf sie nur diesen Fall oder sämtliche Kundendaten sehen? Darf sie einen Entwurf vorbereiten oder die Nachricht auch versenden?
Nutzen und Risiken entstehen an derselben Stelle: beim Zugang zu den Informationen aus dem Arbeitsalltag.
Viele Risiken bestehen schon heute
Ein grosser Teil der Unternehmensdaten liegt bereits in der Cloud. Fragen zu Zugriff, Speicherung und Datenstandort bestehen deshalb nicht erst seit KI. Der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte hält fest, dass ein Unternehmen auch bei der Verarbeitung durch einen Cloud-Anbieter verantwortlich bleibt.
Viele Verantwortliche wissen, wo ihr wichtigstes System betrieben wird. Oft bleibt offen, ob auch Protokolle, Sicherungskopien, Verarbeitung und Supportzugriffe in dieser Region bleiben. Solche Zusagen gelten häufig nur für bestimmte Dienste. Microsoft beschreibt in seinen Zusicherungen zum Datenstandort deshalb genau, welche Daten in der gewählten Region gespeichert werden.
Das Problem besteht also schon ohne KI. Sie kann Informationen aus mehreren Cloud-Systemen aber schneller finden, verbinden und daraus neue Schlüsse ziehen. Zu weit gefasste Zugriffsrechte haben dadurch grössere Folgen.
Deshalb sollten Unternehmen vor dem produktiven Einsatz fünf Fragen beantworten.
1. Was darf die KI sehen?
Für offene Servicefälle braucht die KI selten Zugriff auf das gesamte Dokumentenarchiv. Sie sollte nur Informationen sehen dürfen, welche die verantwortliche Person ebenfalls sehen darf und für ihre Aufgabe braucht.
In der Praxis sind Zugriffsrechte häufig historisch gewachsen. Dokumente wurden für grosse Gruppen freigegeben, und eine KI kann sie wesentlich schneller finden als ein Mensch. Microsoft warnt bei seinen KI-Konnektoren ausdrücklich davor, dass falsch konfigurierte Rechte vertrauliche Inhalte einem zu grossen Personenkreis zugänglich machen können.
Vor dem Anschluss eines Systems muss deshalb geklärt werden, welche Daten es enthält, wer dafür verantwortlich ist und ob die Berechtigungen noch stimmen.
2. Was geschieht während einer KI-Anfrage und was bleibt?
Bevor eine Anfrage das Modell erreicht, stellt die Anwendung Informationen aus Anweisungen, früheren Nachrichten, Dokumenten und Fachsystemen zusammen. Dieses Paket bildet die Eingabe für die Inference, also die Berechnung der Antwort.
Die Inference dauert meist nur wenige Sekunden. Währenddessen hält das Modell berechnete Werte in einem Cache, damit es die bisherige Eingabe nicht für jeden neuen Textbaustein erneut verarbeiten muss. Diese kurzfristig benötigten Werte werden nach der Anfrage normalerweise verworfen.
Einige Anbieter behalten berechnete Teile der Eingabe jedoch in einem Prompt-Cache, um ähnliche Anfragen schneller und günstiger zu beantworten. Je nach Dienst bleiben sie dort Minuten oder Stunden. Dafür gibt es keinen allgemeinen Standard. Auch solche Zwischenergebnisse gehören in die Risikoabwägung, obwohl sie nicht als lesbarer Gesprächsverlauf vorliegen.
Gesprächsverläufe, hochgeladene Dateien, Protokolle, Suchindizes und Sicherungskopien werden dagegen von der Anwendung rund um das Modell gespeichert und können wesentlich länger erhalten bleiben. Für jeden Dienst muss deshalb geklärt werden, wo die Inference stattfindet, welche Daten vorübergehend im Cache bleiben und was danach dauerhaft gespeichert wird.
Anbieter werden ihre interne Infrastruktur kaum vollständig offenlegen. Unternehmen können aber klare Zusicherungen zu Aufbewahrungsdauer, Trennung der Kundendaten, Verarbeitungsort, Training, Protokollierung und Unterauftragnehmern verlangen. Bleibt ein untragbares Risiko, gehören die betreffenden Daten nicht in diesen Dienst. Sie können entfernt, anonymisiert oder in einer stärker kontrollierten Umgebung verarbeitet werden.
3. Was kann die KI daraus ableiten?
Ein oft übersehenes Risiko liegt nicht in einer einzelnen Information, sondern in ihrer Verbindung.
Ein Kalendertermin, eine Abwesenheit und ein E-Mail-Verlauf können für sich unkritisch erscheinen. Zusammen können sie zu einer heiklen Schlussfolgerung führen, die falsch ist und trotzdem überzeugend klingt.
Unternehmen müssen deshalb auch überlegen, welche Schlüsse aus mehreren Quellen entstehen können und wo solche Einschätzungen nicht verwendet werden dürfen.
Die KI sollte nicht aufgrund unvollständiger Informationen über Kunden, Mitarbeitende oder rechtliche Verantwortung urteilen.
4. Was darf die KI tun?
Zwischen einer vorbereiteten Zusammenfassung und einer tatsächlich ausgeführten Aktion liegt ein grosser Unterschied.
Eine KI kann eine E-Mail vorbereiten, einen Auftrag ändern oder eine Bestellung auslösen. Mit jedem zusätzlichen Recht steigen der mögliche Nutzen und die Wirkung eines Fehlers.
Bei einem neuen Anwendungsfall sollte die KI zunächst nur lesen dürfen. Sie zeigt Quellen, markiert Lücken und schlägt einen nächsten Schritt vor. Ein Mensch prüft und entscheidet.
Erst wenn dieses Zusammenspiel funktioniert, kann geprüft werden, welche klar abgegrenzten Schritte automatisiert werden dürfen. Die OWASP Foundation warnt davor, einem KI-System mehr Rechte zu geben, als für seine Aufgabe notwendig sind.
5. Wer prüft und verbessert das System?
Guardrails werden häufig als technischer Filter verstanden. Das ist nur ein Teil.
Verlässliche Leitplanken regeln auch, welche Aufgabe die KI hat, welche Quellen gelten, wie sie Unsicherheiten ausweist und wann eine Freigabe nötig ist. Ebenso wichtig ist, wer einen Fehler korrigieren darf und wie aus einer bestätigten Korrektur eine neue Regel wird.
KI ist nicht nach einer einmaligen Abnahme fertig. Modelle, Daten und Prozesse verändern sich. Vertrauen entsteht durch regelmässiges Prüfen, Korrigieren und Verankern. Auch das AI Risk Management Framework von NIST behandelt Risikomanagement als fortlaufende Aufgabe mit klaren Verantwortlichkeiten und menschlicher Aufsicht.
Sicherheit und Nutzen gehören zusammen
Eine gute Architektur trennt dauerhaft gespeichertes Unternehmenswissen von der Inference. Quellsysteme, Gesprächsverläufe und freigegebene Wissensbereiche bleiben in einer vom Unternehmen gewählten Umgebung. Das Modell erhält für jede Anfrage nur die nötigen Informationen und bleibt austauschbar.
Wie sich diese Architektur mit klaren Wissensbereichen, Verantwortlichkeiten, Freigaben und kontrolliertem Lernen verbinden lässt, beschreibe ich ausführlicher in meinem Whitepaper zur verlässlichen KI im Unternehmen.
Der sinnvolle Einstieg ist deshalb kein unternehmensweiter Assistent, der sofort alles sehen und tun darf. Besser ist ein echter, wiederkehrender Arbeitsablauf.
Hier kann ich helfen. Gemeinsam mit den Verantwortlichen untersuche ich einen konkreten Arbeitsablauf: Welche Informationen werden heute gesucht? In welchen Systemen liegen sie? Wie kann eine KI darauf zugreifen? Welche Berechtigungen, Verträge und Vorgaben gelten? Wer prüft das Ergebnis und entscheidet über Änderungen?
Auf dieser Grundlage lässt sich ein klar abgegrenzter Test mit abgeschlossenen Fällen und festen Prüfschritten aufbauen. So zeigt sich früh, wo die KI hilft und was noch fehlt. Die nächsten Entscheidungen stützen sich damit auf Erfahrung statt auf Versprechen, ohne unnötige Abhängigkeit von einem Anbieter.
Seit mehr als 20 Jahren arbeite ich an Systemen, die im Alltag verlässlich funktionieren müssen. Heute verbinde ich diese Erfahrung mit KI-Produktentwicklung und anbieterunabhängigen KI-Lösungen. Mein Ausgangspunkt ist nicht das neueste Modell, sondern die konkrete Arbeit und der Zusammenhang, in dem es eingesetzt werden soll.
So wird aus KI weder ein unkontrolliertes Experiment noch ein Werkzeug, das aus Vorsicht kaum etwas darf. Sie wird zu einer verlässlichen Unterstützung für die tägliche Arbeit.