Was tun, wenn ChatGPT bei der Hausarbeit "mithilft"? Neue Herausforderungen für Prüfungsprozesse

 

Der Einsatz von KI in Prüfungsprozessen erfordert besondere Sorgfalt und die Beachtung rechtlicher Vorgaben. Denn Prüfungen sind rechtlich relevante Verfahren, deren Ergebnisse über Abschlüsse, Studienfortschritte oder den Zugang zu weiteren Bildungsangeboten entscheiden.

 

Rechtsgrundlagen und Prinzipien

 

Der rechtliche Rahmen für die Durchführung, Bewertung, Wiederholbarkeit und Anfechtbarkeit von Prüfungen wird in Deutschland maßgeblich durch die Landeshochschulgesetze und die Prüfungsordnungen der einzelnen Hochschulen gebildet. Ergänzend dazu müssen Hochschulen ab dem 02. August 2026 auch die Vorgaben der KI-Verordnung (KI-VO) beachten, insbesondere wenn es sich um Hochrisiko-KI-Systeme handelt.

Für den Einsatz von KI-Systemen in Prüfungen gelten eine Reihe grundsätzlicher Prinzipien und Anforderungen für die Hochschulen:

• Transparenz und Nachvollziehbarkeit: Studierende müssen umfassend über den Einsatz KI-basierter Verfahren informiert werden. Dazu gehören die Funktionsweise, die Bewertungskriterien und der Einfluss des KI-Systems auf die Gesamtnote.
• Verantwortlichkeit: Die Endverantwortung für die Bewertung muss stets bei einer natürlichen Person liegen. KI-Systeme dürfen prüfungsrechtlich niemals autonom über Bestehen oder Nichtbestehen entscheiden, da dies gegen den Grundsatz des rechtlichen Gehörs (Art. 103 Abs. 1 GG) und das Verhältnismäßigkeitsprinzip verstoßen würde.
• Anfechtbarkeit: KI-basierte Bewertungen müssen begründet und überprüfbar sein. Nur wenn Studierende die Bewertung sachlich nachvollziehen können, ist ein effektiver Rechtsbehelf (wie Widerspruch oder Klage) möglich. Black-Box-Modelle ohne Erklärbarkeit sind daher problematisch.
• Gleichbehandlung: KI-Systeme dürfen keine unzulässige Diskriminierung erzeugen (Art. 3 Abs. 1 GG).
• Datenschutz und Zweckbindung: Alle im Prüfungsprozess verarbeiteten Daten unterliegen der DSGVO. Die Verarbeitung muss notwendig, zweckgebunden und transparent sein.

 

Beispiele für KI-gestützte Prüfungsanwendungen

 

Es gibt verschiedene Anwendungsbereiche, in denen KI in Prüfungen eingesetzt werden kann, z.B.

• Automatisierte Bewertung von Multiple-Choice-Prüfungen
• Analyse von Freitextantworten mit NLP-Tools
• Plagiatserkennung durch Vergleich mit Datenbanken, und zwar: Erkennung von „traditionellen“ Plagiaten (Kopieren aus vorhandenen Quellen) und Erkennung von KI-generierten Inhalten (prüfungsrechtlich eher ein Täuschungsversuch als ein Plagiat)
• Generierung individueller Prüfungsfragen durch Sprachmodelle
• Verhaltensanalyse bei Online-Prüfungen zur Betrugserkennung

 

Hochrisiko-KI-Systeme und ihre Konsequenzen

 

Bestimmte KI-Anwendungen im Prüfungsbereich werden von der KI-VO als Hochrisiko-KI-Systeme eingestuft (Art. 6 Abs. 2 KI-VO, Anhang III).

Hierzu zählen:

• KI-Systeme, die dazu dienen, den Zugang oder die Zulassung zu Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen zu bestimmen oder natürliche Personen zuzuweisen
• KI-Systeme, die zur Bewertung von Lernergebnissen eingesetzt werden sollen
• KI-Systeme, die zur Bewertung des angemessenen Bildungsniveaus, das eine Person erhalten wird oder zu dem sie Zugang haben wird, eingesetzt werden sollen
• KI-Systeme, die zur Überwachung und Erkennung von unzulässigem Verhalten von Schüler:innen bei Prüfungen eingesetzt werden sollen

 

Konsequenzen der KI-VO: Hochrisiko-KI-Systeme im Prüfungsbereich (Geltung ab 02.08.2026)

 

Für diese Hochrisiko-Systeme, deren Regulierung ab dem 02. August 2026 gilt, bestehen besondere und umfassende Anforderungen für die Hochschulen:

• Durchführung angemessener Risikobewertungen
• Verwendung hochwertiger Datensätze zur Minimierung diskriminierender Ergebnisse
• Protokollierung der Aktivitäten zur Gewährleistung der Rückverfolgbarkeit
• Erstellung ausführlicher Dokumentation
• Bereitstellung klarer Informationen für die Betreiber
• Implementierung angemessener menschlicher Aufsichtsmaßnahmen
• Gewährleistung hoher Robustheit, Cybersicherheit und Genauigkeit
• Sicherstellung der Zweckentsprechung und Korrektheit der Eingabedaten
• Überwachung und Berichterstattung
• Durchführung einer Datenschutz-Folgenabschätzung (Art. 35 DSGVO)
• Erfordernis einer CE-Kennzeichnung
• Registrierungspflicht in der EU-Datenbank für Hochrisiko-KI-Systeme

 

Ausnahmen von Hochrisiko-KI-Systemen

 

Ein Anbieter, der der Auffassung ist, dass ein KI-System kein hohes Risiko darstellt, muss seine Bewertung dokumentieren, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Ein solcher Anbieter unterliegt der Registrierungspflicht gemäß Artikel 49 Abs. 2 KI-VO. Auf Verlangen der zuständigen nationalen Behörden muss der Anbieter die Dokumentation der Bewertung vorlegen.

 

Empfehlungen für Hochschulen

 

Die Hochschulen sollten auf Basis der Landeshochschulgesetze und der KI-VO eigene Regelungen entwickeln und umsetzen. Dies führt zu potenziell unterschiedlichen Leitlinien und Vorgaben zwischen den einzelnen Hochschulen. Die Empfehlungen für Hochschulen umfassen:

• Aufnahme von Regelungen zum KI-Einsatz in Prüfungsordnungen und Studiengangsdokumenten
• Beteiligung von Rechtsabteilungen, Datenschutzbeauftragten und Studierendenvertretungen bei der Einführung neuer Systeme
• Entwicklung von Richtlinien zur Bewertungstransparenz und zur Dokumentation der Ergebnisse
• Einrichtung eines interdisziplinären Gremiums zur Prüfung des KI-Einsatzes in Prüfungen
• Durchführung von Pilotprojekten mit wissenschaftlicher Begleitung zur Evaluation von Akzeptanz, Fairness und Wirkung

 

 

Fazit: Rechtliche Vorgaben einhalten, aber Rechte der Studierenden wahren 

 

Der Einsatz von KI im Prüfungsbereich erfordert eine sorgfältige Abwägung der Chancen und Risiken. Hochschulen müssen die rechtlichen Vorgaben, insbesondere die der KI-VO für Hochrisiko-KI-Systeme, einhalten und die Rechte der Studierenden wahren. Wichtig sind Transparenz, Nachvollziehbarkeit und die Sicherstellung der Verantwortlichkeit durch natürliche Personen.

 

KI und Prüfungsrecht: Jens O. Brelle (Multimedia Kontor Hamburg) vom 12.03.2025 https://vimeo.com/1065804840/440e91c74e

Präsentation (PDF) zum Video: https://www.mmkh.de/fileadmin/veranstaltungen/netzwerk_landesinitiativen/KI-Verordnung/2025-03-12_KI-VO_pruefungsrecht_brelle.pdf