Die neue Transparenzpflicht für KI-Inhalte gemäß Art. 50 Abs. 4 AI Act (KI-Verordnung) soll das Vertrauen in Informationen und mediale Inhalte stärken. Nachfolgend erhältst du einen kompakten Überblick über wichtige Details der neuen Regelung für Nutzende generativer KI.
Wer muss kennzeichnen?
Ab 02.08.2026 müssen Betreiber von KI-Systemen sogenannte Deepfakes sowie KI-generierte und KI-manipulierte Texte von öffentlichem Interesse kennzeichnen - soweit keine der geregelten Ausnahmen greift (vgl. Artikel 50 Absatz 4 EU AI Act).
Betreiber sind alle, die generative KI Systeme wie beispielsweise ChatGPT, Copilot, Leonardo oder Sora in eigener Verantwortung verwenden - es sei denn, die Nutzung erfolgt rein privat, also nicht beruflich.
Die Kennzeichnungspflicht betrifft demnach konkret Mitarbeitende in Unternehmen oder Behörden oder auch Freiberufler*innen, die im Rahmen ihrer beruflichen Tätigkeit entsprechende Inhalte erzeugen oder bearbeiten ("manipulieren"), vorausgesetzt, alle sonstigen Voraussetzungen der Vorschrift sind gegeben.
Welche Inhalte sind zu kennzeichnen?
Bezüglich der Pflicht zur Kennzeichnung ("Offenlegung") ist nach Art der KI-basierten Inhalte zu unterscheiden: und zwar zwischen einerseits sogenannten Deepfakes, zu denen bestimmte Bild-, Audio- und Videoinhalte zählen, und andererseits Texten über Angelegenheiten von öffentlichem Interesse.
Deepfakes
Kennzeichnungspflichtige Deepfakes liegen laut Definition im EU AI Act vor bei "durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalten, die wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähneln und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würden".
Der Begriff ist eher weit zu interpretieren, eine Täuschungs- oder Irreführungsabsicht ist nicht erforderlich.
Für die Bewertung, ob ein Deepfake vorliegt oder nicht, sind der Nutzungskontext, das Umfeld der Darstellung und auch die Erwartungen des „vernünftigerweise vorhersehbaren Publikums“ entscheidend. Die Bewertung kann unterschiedlich ausfallen, je nachdem, ob eine Publikation eher journalistischen Charakter hat oder dem Bereich Werbung zuzuordnen ist. Entscheidend für die Einschätzung ist auch, welche Zielgruppe mit einer Veröffentlichung mutmaßlich erreicht werden kann.
Als Deepfake kann beispielsweise ein KI-generiertes Bild gelten, das eine bekannte Wissenschaftlerin auf einer Veranstaltung zeigt, an der sie tatsächlich nie teilgenommen hat. Ebenso kann ein KI-erzeugter Podcast ein Deepfake sein, wenn er fälschlich den Eindruck erweckt, ein bestimmter Politiker sei dort zu Gast gewesen. Gleiches gilt für ein KI-manipuliertes Video einer Stadtansicht, in dem eine neue Brücke in der Freien und Hansestadt Hamburg deutlich größer dargestellt wird, als sie tatsächlich ist.
Umgekehrt wird aus einem Bild nicht automatisch ein Deepfake, wenn eher Hintergrunddetails (etwa Passanten in einer Straßenszene) mittels KI entfernt werden, Farbkorrekturen oder (bei Audio) Rauschunterdrückungen vorgenommen werden o. ä. Für die Bewertung kommt es auf den Einzelfall an.
Handelt es sich um Kunst oder Satire o. ä., besteht nur eine eingeschränkte Kennzeichnungspflicht (dazu unten).
KI-Texte über Angelegenheiten von öffentlichem Interesse
Bei KI-erzeugten oder -manipulierten Texten sind nur solche zu kennzeichnen, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren.
Laut Leitlinien der EU-Kommission fallen darunter Informationen zu Sachverhalten, die für die Gesellschaft als Ganzes von Bedeutung sind (sei es auf lokaler, nationaler, unionsweiter oder internationaler Ebene) und die eine öffentliche Debatte oder kritische Prüfung rechtfertigen.
Hierzu zählen Texte, die Themen wie Politik, demokratische Prozesse, öffentliche Verwaltung und Dienstleistungen, Rechtspflege, Strafverfolgung, Schutz der Grundrechte, öffentliche Sicherheit, öffentliche Gesundheit, Umweltschutz, Verbrauchersicherheit aber auch wirtschaftliche, finanzielle, politische, wissenschaftliche oder kulturelle Entwicklungen jeglicher Art behandeln, die Gegenstand öffentlicher Debatten sein können. Welche Angelegenheiten konkret darunterfallen, kann sich im Laufe der Zeit und je nach Kontext ändern.
Es können entsprechend einerseits behördliche Informationen zu Wahlterminen oder geplanten Baumaßnahmen in einer Kommune in Betracht kommen. Auch Berichte einer Hochschule anlässlich der Veröffentlichung ihres Jahresberichts oder zu neuen Forschungsschwerpunkten dürften als Informationen über Angelegenheiten von öffentlichem Interesse gelten.
Eine Pflicht zur Kennzeichnung ist wiederum entbehrlich, wenn die KI-Texte noch durch einen Menschen redigiert worden sind und eine redaktionelle Verantwortung übernommen wurde (dazu unten).
Wie sind KI-Inhalte zu kennzeichnen?
Die Art und Weise der Kennzeichnung hängt vom Medium ab, in jedem Fall muss sie klar und gut wahrnehmbar sein. Bei Bildern, Videos und Texten muss sie sichtbar, bei Audioinhalten hörbar sein. Zudem muss sie Barrierefreiheitsanforderungen entsprechen und zur Wahrnehmung keine technischen Hilfsmittel erfordern.
EU-Icons
Die EU-Kommission hat zur (sichtbaren) Kennzeichnung KI-generierter oder -manipulierter Inhalte drei unterschiedliche Icons veröffentlicht ("AI" als Basis-Variante, "AI GENERATED" für vollständig erzeugte sowie "AI MODIFIED" für teilweise veränderte Inhalte).
Die Nutzung wird grundsätzlich empfohlen, ist jedoch nicht verpflichtend. Daher kommen auch eigene Gestaltungen in Betracht, solange diese hinreichend wahrnehmbar sind und ihren Zweck erfüllen.
Die EU-Icons stehen im SVG- und PNG-Format auf der Website der EU Kommission zum Download zur Verfügung.
Wie bzw. wo ist der Hinweis anzubringen?
- Bilder:
Hinweis als AI-Label oder Wasserzeichen unmittelbar im Bild, z. B. in der rechten oberen Ecke, und nach Möglichkeit ergänzend im Begleittext oder der Bildunterschrift
- Videos:
Hinweis als Einblendung zu Beginn, z. B. auch in der rechten oberen Ecke, in Intervallen, ggf. auch dauerhaft eingeblendet
- Audiobeiträge/Ton:
Hinweis als akustisches Signal zu Beginn, ggf. (je nach Länge) auch während der Ausstrahlung und am Ende nochmal
- Texte über Angelegenheiten von öffentlichem Interesse:
Hinweis auffällig direkt zu Textbeginn, noch vor dem eigentlichen Text, ggf. (je nach Länge) auch nach dem Textende
Welche Ausnahmen gibt es?
Ausnahmen sind bei Deepfakes u. a. im Bereich Kunst und Satire vorgesehen. Laut Gesetzestext gilt: „Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die […] Transparenzpflichten darauf, das Vorhandensein [der mittels KI] erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt“.
Die Ausnahme bedeutet nicht, dass eine Kennzeichnung entbehrlich ist. Vielmehr gilt die Pflicht zur Kennzeichnung dann nur eingeschränkt. Sie soll die normale Verwertung und Nutzung der KI-erzeugten oder -bearbeiteten Inhalte nicht behindern und gleichzeitig den Nutzen und die Qualität des Werks erhalten. Die Bewertung muss einzelfallabhängig erfolgen, Zweifelsfälle sind streng auszulegen.
Bei Texten besteht keine Pflicht zur Kennzeichnung, „wenn die durch KI erzeugten Inhalte einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt“.
Eine redaktionelle Überprüfung sowie die Übernahme von Verantwortung müssen kumulativ vorliegen.
Letzteres erfordert, dass die Identität und die Kontaktdaten der juristischen oder natürlichen Person bzw. der für die Redaktion verantwortlichen Stelle an einer leicht auffindbaren Stelle öffentlich zugänglich gemacht werden (sofern dies nicht bereits anderweitig geschehen ist).
Die Anforderungen an die redaktionelle Überprüfung sind hoch. Eine bloß grobe Durchsicht auf Fehler oder Plausibilität entbindet daher nicht bereits von der Pflicht zur Kennzeichnung. Die menschliche Überprüfung erfordert vielmehr die bewusste inhaltliche Prüfung durch eine oder mehrere natürliche fachkundige Personen, die ein entsprechendes Urteilsvermögen haben (z. B. wissenschaftliches Peer-Review oder professionelle Validierungsverfahren). Die Überprüfung der sachlichen Richtigkeit der Inhalte ist eine Mindestanforderung, die Bestandteil der Prüfung sein sollte.
Wichtig: Erfolgen nach Abschluss der menschlichen Überprüfung oder der redaktionellen Kontrolle noch wesentliche Eingriffe (KI-basiert), so führt dies zur Nichtanwendbarkeit dieser Ausnahme (redaktionelle Bearbeitung und Verantwortung).
Weitere Ausnahmen sowohl für Deepfakes als auch KI-Texte sind im Bereich Strafverfolgung vorgesehen.
Was droht bei Nichteinhaltung?
Bei Verstößen gegen die Transparenzpflicht können Bußgelder von bis zu 15.000.000 Euro oder – im Falle von Unternehmen – von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres verhängt werden, je nachdem, welcher Betrag höher ist.
Die genannten Beträge sind Höchstgrenzen. In welcher Höhe die angesetzten Sanktionen tatsächlich durchgesetzt werden und inwieweit die Unternehmensgröße eine Rolle spielt, bleibt abzuwarten.
Für Unternehmen kommen laut Wettbewerbszentrale auch Abmahnungen aufgrund Verstoßes gegen sog. Marktverhaltensregeln in Betracht.
Bedeutung der Regelung
Nutzer*innen insbesondere digitaler Angebote sollen künftig leicht erkennen können, ob Texte, Bilder, Videos oder Audioinhalte mithilfe künstlicher Intelligenz erstellt oder verändert worden sind. Dies ist, insbesondere mit Hinblick auf den Schutz der demokratischen Grundordnung, von erheblicher Bedeutung.
Gleichzeitig stellen die neuen Kennzeichnungspflichten Unternehmen und Behörden vor die organisatorische Herausforderung, bei Veröffentlichungen unter Einsatz generativer KI geeignete und gut umsetzbare Prozesse zu etablieren und Anwendungsfälle im Sinne der Regelung bewerten zu können.
Entscheidend wird sein, die gesetzlichen Vorgaben praxistauglich auszulegen und dabei ein ausgewogenes Verhältnis zwischen Transparenzanforderungen und bürokratischem Aufwand herzustellen.
Handlungsempfehlungen
- Unternehmen, Behörden, Wissenschafts- und Bildungseinrichtungen sowie sonstige Institutionen, die KI-erzeugte Inhalte veröffentlichen, sind ab jetzt gehalten, intern organisatorische Prozesse zur Umsetzung der Kennzeichnung zu etablieren und diese auch zu dokumentieren.
- Dies beinhaltet die Erarbeitung interner Freigaberichtlinien für entsprechende Inhalte (eine sehr gute Hilfestellung hierzu bieten, mit vielen Beispielen, die Leitlinien der EU-Kommission, s. Link unten) und die Erfassung, welche Beschäftigten entsprechende Inhalte veröffentlichen.
- Die Beschäftigten, die in der „Betreiber-Rolle“ tätig sind, sollten im Umgang mit generativer KI und insbesondere den Anforderungen an die Transparenzpflicht geschult werden.
- Geplante Veröffentlichungen sind, soweit erforderlich, gemäß den Vorgaben zu kennzeichnen. (Dies gilt nicht für „Altinhalte“, die schon vor Geltung der Kennzeichnungspflicht veröffentlicht waren.)
- Die weiteren rechtlichen Entwicklungen, insbesondere hinsichtlich der Frage, welche Inhalte konkret kennzeichnungspflichtig sind, sollten fortlaufend beobachtet werden.
Erscheinen dir die neuen Vorgaben geeignet, um Transparenz im digitalen Raum zu schaffen? Sind sie gut umsetzbar? Werden diejenigen, denen es darauf ankommt, gezielt zu täuschen, ihre Inhalte tatsächlich als KI-generiert kennzeichnen? Vermutlich kaum. Besteht umgekehrt in Redaktionen und PR-Abteilungen von Unternehmen und Behörden künftig die Gefahr einer „Überkennzeichnung“, um sicher zu gehen, den Anforderungen gerecht zu werden und sich keinen Sanktionen auszusetzen? Wie wirkt sich eine mögliche Überkennzeichnung auf die Wahrnehmung medialer Inhalte aus? Welche Wertigkeit haben diese für die Bevölkerung, wenn sie zunehmend als KI-generiert gekennzeichnet sind?
Hinweise zu den Beitragenden, zur Lizenz des Beitrags und ggf. verwendeten Medien
- Beitrag: Andrea Schlotfeldt | HOOU@HAW Hamburg, CC BY-SA 4.0.
- Headerbild: "Rechtshäppchen_KI-Recht", Ronja Fischer | HOOU@HAW Hamburg, CC BY-SA 4.0.
