Ist Ihre KI-Anwendung harmlos oder hochreguliert? Wer das nicht weiß, könnte bald ins Stolpern geraten.

Hochrisiko-KI-Systeme unterliegen nach der KI-Verordnung (AI Act) den strengsten Anforderungen. Sie sind in Anhang III der Verordnung gelistet und zeichnen sich dadurch aus, dass sie erhebliche Auswirkungen auf Grundrechte, Sicherheit oder das Leben von Personen haben können. Auch Hochschulen können – je nach Anwendung – von dieser Einstufung betroffen sein.

Typische Hochrisiko-KI im Hochschulkontext

Ein KI-System gilt dann als Hochrisiko-System, wenn es in Bereichen eingesetzt wird, die z. B. den Zugang zu Bildung, die Bewertung von Leistungen oder den Studienverlauf betreffen. Beispiele dafür sind:

• automatisierte Auswahlverfahren für Studienbewerber:innen

• KI-gestützte Prüfungsbewertung

• algorithmische Studienverlaufsberatung

• Systeme zur Vorhersage von Studienabbruch oder Studienerfolg

• hochautomatisierte Verwaltungsentscheidungen (z. B. bei Fördermitteln oder Fristbearbeitung)

Die Einstufung hängt nicht vom Ort des Einsatzes ab, sondern vom konkreten Anwendungsbereich und der potenziellen Wirkung auf Menschen.

Was gehört zur formalen Risikobewertung?

Hochschulen, die KI-Systeme entwickeln oder einsetzen, die potenziell unter die Hochrisiko-Kategorie des AI Acts fallen, sind verpflichtet, eine formale Risikobewertung durchzuführen. Diese bildet die Grundlage für alle weiteren Compliance-Maßnahmen und umfasst mindestens folgende Elemente:

• Dokumentation der Systemfunktionen: Beschreibung der eingesetzten KI-Technologie, ihrer Aufgaben und Funktionsweise.

• Analyse potenzieller Auswirkungen auf Grundrechte: Prüfung, ob und wie das System Grundrechte wie Datenschutz, Chancengleichheit oder Nichtdiskriminierung beeinträchtigen könnte.

• Qualitätssicherung der Datenquellen: Nachweis, dass die Trainings- und Eingabedaten verlässlich, aktuell und möglichst biasfrei sind.

• Transparenzmaßnahmen: Klare Information der Betroffenen (z. B. Studierende, Mitarbeitende), dass und wie ein KI-System in Entscheidungen einbezogen wird.

• Menschliche Aufsicht und Eingriffsmöglichkeiten: Sicherstellung, dass kritische Entscheidungen nicht ausschließlich automatisiert erfolgen, sondern durch Menschen überprüft und ggf. korrigiert werden können.

• Kontinuierliche Überwachung und Meldepflichten: Implementierung von Monitoring-Prozessen zur Erkennung von Fehlfunktionen oder Risiken – sowie klare Regelungen für die Meldung an Aufsichtsbehörden im Fall von Problemen.

Zudem müssen Hochschulen nachweisen können, dass das jeweilige KI-System den Anforderungen an Sicherheit, Robustheit, Genauigkeit und Fairness entspricht. Diese Nachweise müssen regelmäßig aktualisiert und vorgehalten werden – z. B. bei internen Audits oder externen Prüfungen.

Hochschulpflichten bei KI-Systemen

Werden KI-Systeme eingesetzt oder entwickelt, müssen Hochschulen umfangreiche Pflichten erfüllen. Dazu gehören:

1. Identifikation und Risikoklassifikation

• Systematische Erfassung aller eingesetzten und entwickelten KI-Anwendungen

• Zuordnung zu Risikoklassen gemäß AI Act (Hochrisiko, begrenztes Risiko, etc.)

2. Risikomanagement und Compliance

• Analyse potenzieller Auswirkungen auf Grundrechte

• Qualitätssicherung der Datenquellen

• Einrichtung menschlicher Aufsicht (keine vollautomatisierten Entscheidungen bei kritischen Prozessen)

• Transparenzmaßnahmen: z. B. Information der betroffenen Studierenden

• Lückenlose Dokumentation und regelmäßige Aktualisierung

• Anpassung der Prüfungsordnungen und interner Richtlinien, um Transparenz und Integrität beim KI-Einsatz zu gewährleisten (z.B. Regelungen für KI-Nutzung in Prüfungen, mündliche Ergänzungen)

3. Schulungs- und Fortbildungspflichten

Seit dem 2. Februar 2025 gilt:

• Alle Personen, die mit KI-Systemen arbeiten (auch Lehrende und Studierende), müssen geschult werden

• Formate: Workshops, Online-Kurse, Selbstlernmaterialien

• Dokumentation der Teilnahmen und Nachweis des Kompetenzaufbaus

4. Interne Governance

• Entwicklung hochschulinterner Richtlinien für den Einsatz von KI

• Festlegung klarer Zuständigkeiten

• Sicherstellung lizenzierter und geprüfter Software zur Wahrung von Datenschutz und Fairness

5. Informations- und Transparenzpflichten

• Offenlegung des KI-Einsatzes gegenüber Nutzenden (z. B. bei automatisierter Prüfungsbewertung)

• Meldepflichten gegenüber Aufsichtsbehörden bei Fehlverhalten oder Sicherheitsrisiken

6. Datenschutz, Sicherheit, Urheberrecht

• "Privacy by Design" bei sensiblen Datenverarbeitungen

• Absicherung gegen unbefugten Zugriff (Cybersicherheit)

• Beachtung urheberrechtlicher Vorgaben beim Einsatz oder Training von KI

7. Monitoring und kontinuierliche Verbesserung

• Laufende Überprüfung und Nachsteuerung der eingesetzten KI-Systeme

• Anpassung an neue technische Entwicklungen und regulatorische Änderungen

Fazit: Schnelle und kontinuierliche Umsetzung der Hochschulen erforderlich

Hochschulen müssen ein umfassendes Compliance- und Schulungskonzept etablieren, insbesondere für Hochrisiko-KI-Systeme. Dazu gehören die Identifikation und Bewertung aller KI-Systeme, der Aufbau von KI-Kompetenz, die Anpassung von Prüfungsordnungen und internen Richtlinien, die Sicherstellung von Transparenz und Datenschutz sowie die kontinuierliche Überwachung und Dokumentation aller Prozesse.