Generative KI: Risiken erkennen und steuern

Hinweis: Dieser Überblick dient der praktischen Orientierung und ersetzt keine rechtliche, datenschutzrechtliche oder sicherheitstechnische Einzelfallprüfung.

Generative KI gehört inzwischen zum Arbeitsalltag: Sie erstellt Texte, Bilder, Präsentationen und Code, unterstützt Recherche und Protokolle oder arbeitet als interner Wissensassistent. Risiken entstehen vor allem dann, wenn Menschen Ergebnisse ungeprüft übernehmen, sensible Daten eingeben, externe Tools ohne Freigabe nutzen oder KI-Systeme in ungeeignete Prozesse einbauen.

Die meisten dieser Gefahren lassen sich begrenzen. Dafür braucht KI denselben nüchternen Rahmen wie andere Arbeitsmittel: einen klaren Zweck, festgelegte Grenzen, Zuständigkeiten und Prüfpflichten.

Warum diese Risiken oft unterschätzt werden

Generative KI wirkt überzeugend, weil sie Sprache, Bilder und Ton in einer Form erzeugt, die menschlich und professionell aussieht. Das ist praktisch, aber auch gefährlich: Ein sauber formulierter Absatz kann fachlich falsch sein. Eine hübsche Grafik kann ein verzerrtes Rollenbild reproduzieren. Ein Chatbot kann freundlich klingen und trotzdem vertrauliche Daten in einen falschen Kontext ziehen.

Das Risiko liegt deshalb selten nur im Modell. Es liegt im gesamten Einsatzkontext: Welche Aufgabe soll erledigt werden? Welche Daten werden verarbeitet? Wer prüft das Ergebnis? Kann die KI Handlungen auslösen? Sind Betroffene informiert? Gibt es einen Menschen, der tatsächlich verantwortlich entscheidet?

1. Halluzinationen und scheinbare Gewissheit

Sprachmodelle berechnen wahrscheinliche Antworten. Sie prüfen nicht automatisch, ob eine Aussage wahr, aktuell oder rechtlich belastbar ist. Deshalb können sie Quellen erfinden, Details verwechseln, alte Informationen als aktuell darstellen oder einen unsicheren Sachverhalt zu bestimmt formulieren.

Das Problem wird größer, wenn KI-Ergebnisse direkt weiterverwendet werden: in Kundenmails, Fachtexten, Verwaltungsvorlagen, Beratungsunterlagen oder Code. RAG-Systeme und Websuche können helfen, weil sie zusätzliche Quellen einbeziehen. Sie lösen das Problem aber nicht vollständig. Auch ein RAG-System kann mit veralteten, unvollständigen oder falsch aufbereiteten Referenzdokumenten falsche Antworten erzeugen.

2. Datenabfluss und vertrauliche Informationen

Viele Risiken entstehen schon bei der Eingabe. Wer personenbezogene Daten, interne Strategien, Kundendaten, Ausschreibungsunterlagen, Personalvorgänge oder behördliche Informationen in ein nicht freigegebenes KI-Tool kopiert, verliert schnell die Kontrolle darüber, wo diese Daten verarbeitet, gespeichert oder für weitere Zwecke genutzt werden.

Die Datenschutzkonferenz empfiehlt deshalb, Zweck, Rechtsgrundlage, Verantwortlichkeiten, Transparenz, Betroffenenrechte und technische Schutzmaßnahmen vor dem Einsatz zu klären. Organisationen sollten außerdem zwischen offenen Cloud-Tools, Enterprise-Umgebungen, geschlossenen Systemen und lokalen Modellen unterscheiden. Für den Datenschutz zählen vor allem klare Verträge, Rollen, Protokolle und Datenbegrenzung.

3. Urheberrecht, Persönlichkeitsrechte und IP

Generative KI kann Texte, Bilder, Musik, Stimmen, Videos und Code erzeugen, die fremden Werken oder Personen ähneln. Für die Praxis heißt das: Nutzungsbedingungen, Lizenzlage und Herkunft der Eingaben sind relevant. Wer eine fremde Präsentation, ein Kundenlogo, ein Foto, ein internes Manuskript oder eine Stimme in ein KI-System gibt, sollte vorher wissen, ob diese Nutzung erlaubt ist.

Auch bei Ausgaben bleibt Vorsicht nötig. Ein generiertes Bild ist nicht automatisch frei von Rechten Dritter. Ein generierter Code-Schnipsel ist nicht automatisch lizenzfrei. Für kommerzielle Veröffentlichung, Behördenkommunikation und Schulungsmaterialien sollte deshalb eine kurze Rechteprüfung zum Standard gehören.

4. Bias und Diskriminierung

KI-Systeme können Verzerrungen aus Trainingsdaten, Produktdesign, Prompting oder Einsatzkontext übernehmen. Das zeigt sich bei Bildern von Berufen, bei Übersetzungen, bei Bewertungen von Lebensläufen oder bei Formulierungen über Gruppen von Menschen. In HR, Bildung, Verwaltung, Kredit, Gesundheit oder Sicherheit kann Bias Menschen konkret benachteiligen.

Der EU AI Act behandelt bestimmte Einsatzbereiche deshalb als Hochrisiko-Kontexte. Auch außerhalb dieser Bereiche sollten Organisationen prüfen, ob KI-Ausgaben Menschen unterschiedlich behandeln, Stereotype verstärken oder scheinbar neutrale Entscheidungen beeinflussen.

5. Übermäßiges Vertrauen in KI

Ein unterschätztes Risiko ist nicht, dass Menschen KI misstrauen. Häufig passiert das Gegenteil: Ein Ergebnis klingt plausibel, kommt schnell und wird übernommen. Dieses übermäßige Vertrauen nennt man Automation Bias. Besonders kritisch wird es, wenn KI als Entscheidungsvorlage genutzt wird und der Mensch nur noch formal abnickt.

Für Verfahren mit Rechtswirkung, Personalentscheidungen, Verwaltungsakte, Bewertungen oder medizinische und juristische Kontexte reicht eine menschliche Beteiligung auf dem Papier nicht aus. Der Mensch braucht echten Entscheidungsspielraum, Fachkompetenz, Zeit zur Prüfung und Zugang zu den relevanten Grundlagen.

6. Prompt Injection und unsichere KI-Workflows

Prompt Injection bedeutet: Ein Angreifer versteckt Anweisungen in Texten, Websites, Bildern, PDFs, E-Mails oder Datenbankeinträgen, die ein KI-System verarbeitet. Die KI soll dadurch Regeln ignorieren, vertrauliche Informationen ausgeben oder falsche Aktionen auslösen.

Werkzeugzugriff verschärft das Risiko. Das gilt etwa, wenn KI E-Mails liest, Dateien zusammenfasst, Tickets bearbeitet, Code ausführt, Datenbanken abfragt oder Workflows startet. Die OWASP Top 10 für LLM- und GenAI-Anwendungen 2025 führen Prompt Injection als LLM01 und übermäßige Handlungsmacht als LLM06. Praktisch heißt das: nur nötige Funktionen und Rechte freigeben, kritische Aktionen bestätigen lassen und Ausgaben vor der Weiterverarbeitung prüfen.

7. Shadow AI: Nutzung ohne Freigabe

Shadow AI entsteht, wenn Mitarbeitende privat verfügbare KI-Tools für berufliche Aufgaben nutzen, ohne dass IT, Datenschutz, Recht oder Führung davon wissen. Das ist verständlich, weil gute Tools schnell helfen. Es ist aber riskant, weil niemand prüfen kann, welche Daten wohin fließen, welche Ergebnisse übernommen werden und welche Anbieterbedingungen gelten.

Ein pauschales Verbot löst das Problem meist nicht. Besser ist ein klares Angebot: freigegebene Tools, verständliche Datenklassen, kurze Regeln, Schulung und ein einfacher Prozess für neue KI-Ideen.

8. Unklare Verantwortung und veraltete Regeln

KI verteilt Verantwortung nicht von allein. Anbieter trainieren Modelle, Plattformen stellen Funktionen bereit, Organisationen wählen Tools aus, Teams setzen sie ein und einzelne Menschen übernehmen Ergebnisse. Wenn diese Rollen unklar bleiben, wird im Fehlerfall niemand zuständig.

Jedes relevante KI-System braucht mindestens eine fachliche Verantwortung, eine technische Zuständigkeit, einen Datenschutz- und Sicherheitscheck, dokumentierte Nutzungszwecke und eine Regel für die Freigabe von Ergebnissen. Diese Regeln müssen mitwachsen: Tools ändern sich, neue Funktionen kommen hinzu und die Erfahrungen aus dem Betrieb verändern die Risikobewertung.

Seit dem 2. Februar 2025 gilt im EU AI Act die Pflicht zur KI-Kompetenz. Anbieter und Betreiber von KI-Systemen müssen dafür sorgen, dass Personen, die mit KI-Systemen umgehen, ein angemessenes Verständnis von Funktionsweise, Chancen, Risiken und sicherem Einsatz haben. Ein einheitliches Zertifikat ist dafür nicht vorgeschrieben. Schulung, Regeln und Zuständigkeiten müssen zum tatsächlichen Einsatz passen und aktuell bleiben.

9. Vendor Lock-in und Abhängigkeit

Viele KI-Workflows werden schnell um einen bestimmten Anbieter herum gebaut: Prompts, Dateien, Assistenten, Automationen, Schnittstellen, Wissensdatenbanken und Nutzerkonten. Das kann funktionieren, schafft aber Abhängigkeiten bei Preis, Verfügbarkeit, Modellwechseln, Datenexport, Datenschutz, Support und strategischer Ausrichtung des Anbieters.

Gute KI-Governance prüft deshalb auch die Abhängigkeit: Können wir Daten exportieren? Gibt es Alternativen? Welche Prozesse hängen am Anbieter? Was passiert bei einer Preiserhöhung, einer Funktionsänderung oder am Vertragsende?

Prioritäten für Unternehmen und Verwaltungen

Am Anfang steht eine nüchterne Bestandsaufnahme: Welche KI wird genutzt? In welchen Prozessen? Mit welchen Daten? Wer ist betroffen? Was kann schiefgehen? Welche Schutzmaßnahmen gibt es bereits?

Unternehmen sollten besonders auf Kunden- und Beschäftigtendaten, Geschäftsgeheimnisse, IP-Rechte, HR-Prozesse, automatisierte Kommunikation und Veröffentlichungen achten. Verwaltungen müssen zusätzlich prüfen, ob KI Bürgerrechte, Verwaltungsverfahren, Ermessensentscheidungen, Akten, Sozialleistungen oder öffentliche Kommunikation berührt.

Die größten Gefahren stecken meist in alltäglichen Routinen: vertrauliche Daten werden kopiert, Antworten ungeprüft übernommen, private Tools nebenbei eingesetzt und Zuständigkeiten bleiben offen. Je stärker ein KI-Einsatz Menschen, Rechte, Finanzen oder öffentliche Entscheidungen berührt, desto sorgfältiger müssen Prüfung, Dokumentation und menschliche Aufsicht ausfallen.

Quellen und weiterführende Informationen

Hinweis: Einige Quellen führen zu englischsprachigen Hersteller-, Hilfe- oder Dokumentationsseiten. Die Linktexte beschreiben auf Deutsch, welche Information dort zu finden ist.

• Europäische Kommission: AI Act
• Europäische Kommission: AI Literacy – Questions & Answers
• Datenschutzkonferenz: Orientierungshilfe Künstliche Intelligenz und Datenschutz
• Datenschutzkonferenz: Orientierungshilfe zu generativer KI mit RAG-Methode
• Datenschutzkonferenz: Technische und organisatorische Maßnahmen für KI-Systeme
• BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden
• NIST: AI RMF Generative AI Profile
• OWASP: Top 10 for LLM and GenAI Applications 2025
• OECD: AI Principles