Dipl.-Kfm. Jochen Jahn Im Interview mit UnternehmerLand gibt Jochen Jahn, Rechtsanwalt bei Krammer Jahn Rechtsanwälte PartG mbB, Einblicke in die größten rechtlichen Herausforderungen beim Einsatz von Künstlicher Intelligenz und zeigt Maßnahmen auf, mit denen Unternehmen Haftungs-, Datenschutz- und Compliance-Risiken vermeiden können.
Herr Jahn, wo sehen Sie aktuell die größten rechtlichen Risiken beim Einsatz von KI in Unternehmen?
Jochen Jahn: Die größten Risiken liegen vor allem in Datenschutzverstößen durch die Eingabe von personenbezogenen Daten – z.B. Kunden-, Beschäftigten- oder Gesundheitsdaten – in KI-Tools. Kritisch ist auch der Einsatz von KI in sensiblen Bereichen wie Recruiting, Personalbewertung, Kreditwürdigkeit oder im Berich kritischer Infrastruktur ohne vorher die notwendigen Risikoabschätzungen durchgeführt und dokumentiert zu haben. Weitere rechtliche Risiken liegen in der Verwendung falscher – Stichwort Halluzinationen – oder diskriminierender KI-Ergebnisse oder der Verletzungen von Marken- und/oder Urheberrechten bei ungeprüfter Verwendung des KI-Outputs. Ab dem 2. August 2026 müssen die Unternehmen bei Verwendung von KI-Ergebnisses darüber hinaus prüfen, inwieweit die jeweilige Verwendung eine Pflicht zur Kennzeichnung (Transparenzpflicht) auslöst. Ein Verstoß gegen diese Pflicht kann mit Bußgeld geahndet werden und darüber hinaus ggfs. als wettbewerbsrechtlicher Verstoß abgemahnt werden.
Welche typischen Fehler führen in der Praxis zu rechtlichen Problemen beim KI-Einsatz?
Jochen Jahn: In der Praxis zeigt sich häufig, dass Mitarbeitende kostenlose KI-Chattools im Internet (z.B. ChatGPT) nutzen, ohne dass IT, Datenschutz, Rechtsabteilung oder Geschäftsleitung überhaupt davon wissen. Diese sogenannte “Schatten-KI” stellt für die Verantwortlichen im Unternehmen die wohl aktuell größte Herausforderung dar. Ohne klare interne Regeln besteht das Risiko, dass Beschäftigte KI-Anwendungen eigenmächtig und unkontrolliert nutzen. Empfohlen werden daher klare Weisungen, dokumentierte Einsatzszenarien und Beispiele zulässiger und unzulässiger Nutzung. Typische Fehler sind folglich, dass personenbezogene Daten oder Geschäftsgeheimnisse in Prompts kopiert werden, ohne dass Speicherorte – Stichwort USA bzw. China – und Trainingsnutzung der benutzten KI-Tools geprüft werden.
Welche Rolle spielt der Datenschutz – und wo lauern die größten Fallstricke?
Jochen Jahn: Datenschutz ist beim KI-Einsatz eines der zentralen Themen: Sobald personenbezogene Daten verarbeitet oder an einen KI-Anbieter übermittelt werden, braucht es eine Rechtsgrundlage, Transparenz gegenüber Betroffenen und passende technische und organisatorische Maßnahmen. Die größten Fallstricke sind, Beschäftigten- oder Kundendaten in öffentliche Chatbots einzugeben, ohne sicherstellen zu können, dass diese Daten nur auf Grundlage eines Auftragsverarbeitungsvertrags mit dem KI-Anbieter vom KI-Anbieter verarbeitet werden. Ohne Auftragsverarbeitungsvertrag läge eine unzulässige Datenweitergabe an einen “Dritten” vor. Darüber hinaus muss eine Nutzung der eingegebenen Daten zu “Trainingszwecken” immer ausgeschlossen werden. Sofern der KI-Anbieter die Datenverarbeitung außerhalb der EU vornimmt, muss auch das Thema Drittlandübertragung der Daten berücksichtigt werden. Für besonders geschützte Daten wie z.B. Gesundheitsdaten gilt nach der DSGVO ein grundsätzliches Verbot einer Verarbeitung mit engen Ausnahmen. Bei KI-Anwendungen unter Verwendung solcher Datenkategorien wird daher häufig eine sogenannte Datenschutz-Folgenabschätzung erforderlich sein.
Wer haftet, wenn KI falsche Ergebnisse liefert – und wie können Unternehmen dieses Risiko begrenzen?
Jochen Jahn: Als Grundsatz gilt: Nicht „die KI“ haftet, sondern die Personen oder das Unternehmen, die die KI-Ergebnisse verwenden. Wenn ein Unternehmen daher ein KI-Ergebnis ungeprüft in einer Kundenberatung, Kalkulation, Personalentscheidung oder technischen Dokumentation verwendet, bleibt es regelmäßig selbst verantwortlich gegenüber Kunden, Beschäftigten, Geschäftspartnern oder Behörden. Eine eigenständige EU-KI-Haftungsrichtlinie gibt es derzeit nicht. Unternehmen können das Risiko begrenzen durch klare Einsatzregeln und -grenzen für die Mitarbeiter, menschliche Kontrolle, Vier-Augen-Prinzip bei kritischen Ergebnissen und eine klare Regel: KI soll unterstützen, aber bei der Verwendung des erzeugten Outputs muss am Ende der Mensch entscheiden. Diese Vorgaben sollten in einer sog. KI-Richtlinie für die Nutzer festgelegt werden.
Wie können Unternehmen ihre Mitarbeitenden auf den sicheren und verantwortungsvollen Einsatz von KI vorbereiten?
Jochen Jahn: Seit dem 2. Februar 2025 müssen Betreiber von KI-Systemen – dazu gehören die Unternehmen, die KI-Tools verwenden – nach Art. 4 KI-Verordnung Maßnahmen ergreifen, um ein ausreichendes Maß an KI-Kompetenz bei ihrem Personal sowie bei weiteren Personen sicherzustellen, die in ihrem Auftrag KI nutzen. Diese Pflicht gilt unabhängig von Branche und Organisationsgröße. In der Praxis sollten Schulungen auf drei Ebenen ansetzen: Zunächst braucht es ein grundlegendes Verständnis dafür, was KI leisten kann, wo ihre Grenzen liegen und warum sie fehlerhafte oder sogenannte halluzinierte Ergebnisse erzeugen kann. Darauf aufbauend sollten die rechtlichen Leitplanken vermittelt werden, insbesondere zu Datenschutz, Geschäftsgeheimnissen, Urheberrecht, Diskriminierungsrisiken und zulässigen Einsatzbereichen. Schließlich ist eine rollenbezogene Anwendung entscheidend, etwa für Vertrieb, HR, Einkauf, Marketing, Kundenservice, Entwicklung oder Geschäftsführung. Die Bundesnetzagentur betont dabei, dass es keine standardisierte Pflichtschulung und keine Zertifizierungspflicht gibt. Maßgeblich ist vielmehr der jeweilige Kontext, die Rolle des Unternehmens, das Risiko des eingesetzten KI-Systems, die Vorkenntnisse der Mitarbeitenden sowie eine regelmäßige Aktualisierung und Dokumentation der ergriffenen Maßnahmen.
Welche Risiken entstehen für Unternehmen, wenn Schulungen im Umgang mit KI nicht ausreichend berücksichtigt werden?
Jochen Jahn: Fehlende Schulungen im Umgang mit KI können in Unternehmen zu erheblichen Risiken führen. Dazu zählen Fehlbedienungen, Datenschutzverstöße, die Offenlegung von Geschäftsgeheimnissen, die ungeprüfte Übernahme falscher Ergebnisse, Diskriminierungsrisiken sowie mögliche Haftungsfälle. Besonders kritisch ist dies in Bereichen wie HR, Kundenberatung, Vertragsprüfung und in regulierten Branchen. Rechtlich kommt hinzu, dass fehlende KI-Kompetenz der Mitarbeiter aufgrund von nicht durchgeführten Schulungen als Sorgfaltspflichtverletzung der Geschäftsleitung gewertet werden kann, insbesondere wenn dadurch ein Schaden entsteht. Die Bundesnetzagentur empfiehlt deshalb, Maßnahmen zur KI-Kompetenz-Schulung gut zu dokumentieren, damit Unternehmen nachweisen können, dass sie die gesetzlichen Anforderungen erfüllen. Für mittelständische Unternehmen ist das besonders relevant, da sie häufig nicht über große Compliance-Abteilungen verfügen. Eine einfache, dokumentierte Schulungs- und Freigabestruktur ist daher meist wirksamer als ein umfangreiches Papierkonzept, das im Alltag niemand kennt.
Was sind die drei wichtigsten Maßnahmen, um rechtliche Risiken beim KI-Einsatz zu vermeiden?
Jochen Jahn: Um rechtliche Risiken beim KI-Einsatz zu vermeiden, sollten Unternehmen vor allem drei zentrale Maßnahmen ergreifen: Zunächst ist ein KI-Inventar mit Risikoklassifizierung erforderlich. Unternehmen sollten erfassen, welche KI-Tools im Einsatz sind, wer sie nutzt, welche Daten verarbeitet werden, welcher Anbieter beteiligt ist und ob der jeweilige Einsatz in einen sensiblen oder hochriskanten Bereich fällt. Gerade Anwendungen im Personalbereich, die Verwendung biometrischer Verfahren oder KI innerhalb kritischer Infrastruktur können Hochrisiko-Relevanz mit Zusatzpflichten haben. Darüber hinaus braucht es eine verbindliche KI-Richtlinie für die Beschäftigten. Diese Richtlinie sollte klar regeln, welche Daten nicht eingegeben werden dürfen, welche Tools freigegeben sind, wann eine menschliche Prüfung erforderlich ist, wie Ergebnisse dokumentiert werden und wann Datenschutzbeauftragte, IT-Sicherheit, Rechtsabteilung oder Betriebsrat einzubeziehen sind. Schließlich sind Schulungen und menschliche Kontrolle entscheidend. Mitarbeitende müssen wissen, was erlaubt ist, wie sie Prompts sicher formulieren, wann KI-Ergebnisse überprüft werden müssen und wo der Einsatz verboten oder genehmigungspflichtig ist. Für kritische Entscheidungen sollte gelten: keine ungeprüfte KI-Ausgabe nach außen, keine allein automatisierte Personal- oder Kundenentscheidung und keine Verwendung ohne nachvollziehbare Verantwortlichkeit.