FAQ zur KI-Verordnung

1.1 Wissenschaftsprivileg nach Art. 2 Abs. 6 KI-VO

Die KI-Verordnung sieht eine Ausnahme für KI-Systeme vor, die ausschließlich für wissenschaftliche Forschung und Entwicklung entwickelt und betrieben werden. Gilt diese Ausnahme auch dann, wenn die Hochschule das System später möglicherweise außerhalb der Forschung einsetzen möchte, beispielsweise in der Lehre, in der Verwaltung oder in der Beratung? Ab welchem Zeitpunkt greift die Ausnahme nicht mehr?

Nur bei reiner Forschung. Das Wissenschaftsprivileg greift nur, wenn ein KI-System ausschließlich für wissenschaftliche Forschung und Entwicklung entwickelt und betrieben wird.

Ein geplanter Praxiseinsatz schließt die Ausnahme aus. Ist ein späterer Einsatz in der Lehre, Verwaltung, Beratung oder in einem anderen praktischen Bereich bereits geplant oder auch nur nicht ausgeschlossen, greift die Ausnahme nicht. Das gilt selbst dann, wenn das System aktuell noch ausschließlich in einem Forschungsprojekt verwendet wird.

Kein späterer Wegfall, sondern Ausschluss von Anfang an. Das Privileg endet in diesem Fall also nicht erst zu einem späteren Zeitpunkt. Nach der Einordnung des Gutachtens ist es von Anfang an ausgeschlossen, sobald ein Praxiseinsatz geplant oder nicht ausgeschlossen ist.

***

1.2 Entwicklungsprivileg nach Art. 2 Abs. 8 KI-VO

Die KI-Verordnung unterscheidet zwischen einer Ausnahme für reine wissenschaftliche Forschung, dem sogenannten Wissenschaftsprivileg, und einer Regelung für die Entwicklung und Erprobung eines KI-Systems vor seiner Markteinführung oder Inbetriebnahme, dem sogenannten Entwicklungsprivileg. Worin unterscheiden sich diese beiden Regelungen, und wann kann sich eine Hochschule auf welche Regelung berufen?

Wissenschaftsprivileg. Das Wissenschaftsprivileg betrifft KI-Systeme, die ausschließlich der Forschung dienen. Ein späterer Praxiseinsatz darf weder geplant noch offengehalten sein. Sind diese Voraussetzungen erfüllt, findet die KI-VO auf das System nicht Anwendung.

Entwicklungsprivileg. Das Entwicklungsprivileg betrifft dagegen die Entwicklungs- und Testphase vor der Markteinführung oder Inbetriebnahme. Ein späterer Praxiseinsatz darf hier geplant sein. Das Privileg gilt jedoch nur bis zur Inbetriebnahme; ab diesem Zeitpunkt müssen die einschlägigen Anforderungen der KI-VO erfüllt werden.

Entscheidender Übergang. Sobald das KI-System veröffentlicht, in Betrieb genommen oder kommerziell genutzt wird, greifen nach der zugrunde gelegten Einordnung die Privilegien nicht mehr.

Welche konkreten Folgen hat diese Unterscheidung für eine Hochschule, die ein KI-System zunächst in einem Forschungsprojekt entwickelt, später aber veröffentlichen oder in der Praxis einsetzen möchte? Welche Pflichten müssen bereits während der Entwicklung vorbereitet oder dokumentiert werden?

Kein Wissenschaftsprivileg bei geplanter Nutzung. Ist ein späterer Praxiseinsatz geplant, kann sich die Hochschule nicht auf das Wissenschaftsprivileg berufen. Die Pflichten der KI-VO werden spätestens mit der Inbetriebnahme relevant.

Vorbereitung schon während der Entwicklung. Damit die Anforderungen bei der Inbetriebnahme erfüllt werden können, müssen erforderliche Maßnahmen bereits während der Entwicklung vorbereitet und dokumentiert werden. Das Gutachten nennt als Beispiel die technische Dokumentation nach Art. 11 KI-VO.

***

1.3 Anbieterrolle bei Drittmittelprojekten

Wenn ein KI-System in einem drittmittelfinanzierten Forschungsprojekt entwickelt und anschließend veröffentlicht oder in Betrieb genommen wird: Wer gilt nach der KI-Verordnung als „Anbieter“ – die Hochschule, der Drittmittelgeber oder eine andere beteiligte Einrichtung? Welche Bedeutung hat es, unter wessen Namen das System veröffentlicht wird und ob es als Open-Source-Software zugänglich ist?

Maßgeblich ist das Auftreten nach außen. Als Anbieter gilt nach Art. 3 Nr. 3 KI-VO grundsätzlich die Stelle, die das KI-System unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt oder in Betrieb nimmt.

• Hochschule: Sie ist Anbieterin, wenn sie das System unter ihrem eigenen Namen veröffentlicht oder in Betrieb nimmt.
• Drittmittelgeber: Er ist Anbieter, wenn das System unter seinem Namen veröffentlicht oder in Betrieb genommen wird.
• Open Source: Die offene Bereitstellung führt nicht zu einer vollständigen Ausnahme von der KI-VO. Art. 2 Abs. 12 KI-VO befreit Open-Source-KI nur von einzelnen Pflichten. Bei Hochrisiko-KI sowie bei den Verboten nach Art. 5 und den Transparenzpflichten nach Art. 50 bleiben die Vorgaben zu beachten.

2.1 Zielgruppen der KI-Kompetenzvermittlung

Art. 4 KI-VO verpflichtet Anbieter und Betreiber von KI-Systemen dazu, bei den Personen, die mit diesen Systemen arbeiten, für ausreichende KI-Kompetenz zu sorgen. Für welche Personengruppen muss eine Hochschule entsprechende Schulungen oder andere Lernangebote vorsehen – für Beschäftigte, Lehrende, externe Dienstleister und auch für Studierende?

Zwei zentrale Personengruppen. Die Pflicht richtet sich nach dem Gutachten vor allem an zwei Gruppen: an das eigene Personal der Hochschule und an externe Personen, die im Auftrag oder Interesse der Hochschule tätig sind.

• Eigenes Personal: Dazu gehören insbesondere Angestellte, Beamtinnen und Beamte sowie Lehrende in einem festen Dienstverhältnis.
• Externe Personen: Erfasst sind beispielsweise Leiharbeitskräfte oder Dienstleister, die im Auftrag der Hochschule mit dem KI-System arbeiten.
• Studierende: Sie sind grundsätzlich einzubeziehen, wenn die Hochschule die Nutzung eines KI-Systems konkret verlangt, etwa für eine Studienleistung.

***

2.2 Zulässige Schulungsformate

Welche Maßnahmen kann eine Hochschule einsetzen, um KI-Kompetenz zu vermitteln? Sind beispielsweise Präsenzschulungen, Onlinekurse, Selbstlernangebote, Informationsmaterialien oder KI-gestützte Lernangebote zulässig? Worauf kommt es bei der Auswahl und Gestaltung des Formats an?

Kein fest vorgeschriebenes Format. Der Begriff „Maßnahmen“ in Art. 4 KI-VO ist bewusst offen formuliert. Hochschulen haben deshalb einen weiten Gestaltungsspielraum.

Verschiedene Formate sind möglich. Zulässig sind unter anderem Präsenz- und Onlineschulungen, Selbstlernkurse, Informationsmaterialien und KI-gestützte Schulungsangebote.

Maßstab ist der Lernerfolg. Entscheidend ist nicht die äußere Form, sondern ob das Angebot auf die jeweilige Zielgruppe, deren Vorwissen und den konkreten Nutzungskontext zugeschnitten ist und die erforderliche Kompetenz tatsächlich vermittelt.

***

2.3 Inhalte der KI-Kompetenzvermittlung

Was müssen Hochschulangehörige konkret über KI wissen und können, damit die Anforderungen an KI-Kompetenz erfüllt sind? Welche technischen, rechtlichen, sozialen, ethischen und ökologischen Inhalte sollten vermittelt werden, und wie unterscheiden sich die notwendigen Kenntnisse je nach Aufgabe, Vorwissen und Einsatzbereich?

KI-Kompetenz ist kontextabhängig. Art. 3 Nr. 56 KI-VO versteht unter KI-Kompetenz die Fähigkeiten, Kenntnisse und das Verständnis, die für einen sachkundigen Einsatz von KI-Systemen sowie für das Erkennen von Chancen und Risiken erforderlich sind. Welche Inhalte nötig sind, hängt von Rolle, Kontext und Vorwissen der jeweiligen Zielgruppe ab.

• Technisches Grundverständnis: Die Beteiligten sollten die grundlegende Funktionsweise und die Grenzen der eingesetzten KI-Systeme verstehen.
• Weitere Auswirkungen: Zu berücksichtigen sind rechtliche, soziale, ethische und ökologische Implikationen.
• Risiken und Gegenmaßnahmen: Die Schulung sollte die konkreten Risiken des jeweiligen Einsatzes und mögliche Abhilfemaßnahmen behandeln.
• Hochrisiko-KI: Bei Hochrisiko-KI-Systemen sind umfangreichere Kompetenzen erforderlich. Das gilt besonders für Personen, die Aufsichtsaufgaben nach Art. 14 KI-VO wahrnehmen.

***

2.4 Verbindlichkeit der Schulungen

Art. 4 KI-VO verlangt, dass Anbieter und Betreiber „nach besten Kräften“ für ausreichende KI-Kompetenz sorgen. Bedeutet das, dass eine Hochschule die Teilnahme an Schulungen verbindlich organisieren muss? Oder genügt es, auf freiwillige Angebote hinzuweisen und die betroffenen Personen um eigenständige Weiterbildung zu bitten?

Ein bloßer Hinweis reicht nicht aus. Nach der im Gutachten vertretenen Auslegung muss die Hochschule den Aufbau von KI-Kompetenz verbindlich sicherstellen. Ein unverbindlicher Hinweis auf vorhandene Angebote und die Bitte um eigenverantwortliche Fortbildung genügen nicht.

Ressourcen beeinflussen die Ausgestaltung, nicht das Bestehen der Pflicht. Die Formulierung „nach besten Kräften“ berücksichtigt zwar, dass Organisationen nur begrenzte Ressourcen haben. Sie entbindet die Hochschule aber nicht von der Pflicht, geeignete und wirksame Maßnahmen zu organisieren.

***

2.5 Dauer der Schulungen

Wie umfangreich müssen Schulungen zur KI-Kompetenz sein? Können kurze Formate von etwa 60 bis 90 Minuten ausreichen, oder sind für bestimmte Zielgruppen umfangreichere, mehrstufige oder zertifizierte Programme erforderlich?

Keine pauschale Mindestdauer. Die KI-VO macht keine feste Vorgabe zur Dauer oder zum Format. Entscheidend ist, ob die für die jeweilige Tätigkeit erforderliche KI-Kompetenz wirksam vermittelt wird.

Der notwendige Umfang hängt vom Einsatz ab. Ein Format von 60 bis 90 Minuten kann ausreichen, wenn es für Zielgruppe und Einsatzkontext angemessen ist und die Lernziele erreicht. Bei komplexen Aufgaben, Hochrisiko-KI oder besonderen Aufsichtspflichten können umfangreichere Formate erforderlich sein.

***

2.6 Nachweispflicht

Muss eine Hochschule dokumentieren, welche Beschäftigten, Lehrenden oder sonstigen Personen an KI-Schulungen teilgenommen haben? Welche Nachweise verlangt die KI-Verordnung, und welche interne Dokumentation ist auch ohne ausdrückliche gesetzliche Vorgabe sinnvoll?

Keine ausdrückliche Nachweispflicht. Art. 4 KI-VO enthält nach der zugrunde gelegten Einordnung keine ausdrückliche Pflicht, die Teilnahme an Schulungen in einer bestimmten Form nachzuweisen.

Interne Dokumentation ist trotzdem sinnvoll. Eine interne Dokumentation der angebotenen Maßnahmen und der Teilnahme wird dennoch empfohlen. Sie erleichtert es der Hochschule, ihre Organisation der KI-Kompetenzvermittlung nachvollziehbar zu machen.

***

2.7 Externe Schulungsangebote

Kann eine Hochschule ihre Pflicht zur Vermittlung von KI-Kompetenz erfüllen, indem sie lediglich auf externe Angebote verweist, beispielsweise auf landesweite Schulungen oder frei zugängliche Onlinekurse? Oder muss sie zusätzlich sicherstellen, dass die betroffenen Personen tatsächlich teilnehmen und die erforderlichen Kenntnisse erwerben?

Externe Angebote sind möglich, aber nicht automatisch ausreichend. Externe Schulungsangebote dürfen genutzt werden. Ein bloßer Link oder Hinweis auf ein vorhandenes Angebot genügt jedoch nicht.

Teilnahme und Wissensvermittlung müssen sichergestellt sein. Die Hochschule muss nach dem Gutachten sicherstellen, dass die betroffenen Personen tatsächlich teilnehmen und die erforderlichen Kenntnisse vermittelt werden.

***

2.8 Delegation an landeszentrale Anbieter

Wenn eine landeszentrale Stelle – etwa ein Landesrechenzentrum, ein Hochschulverbund oder eine Landesinitiative – ein KI-System oder eine KI-Plattform für mehrere Hochschulen bereitstellt: Kann diese Stelle ihre Pflicht zur Vermittlung von KI-Kompetenz auf die nutzenden Hochschulen übertragen? Wer bleibt jeweils für das eigene Personal, externe Dienstleister und die Endnutzerinnen und Endnutzer verantwortlich?

Keine vollständige Delegation. Eine vollständige Übertragung der Pflicht ist nicht möglich. Die landeszentrale Stelle bleibt für ihr eigenes Personal und für Dritte verantwortlich, die in ihrem Interesse handeln.

Die Verantwortungsbereiche bestehen nebeneinander. Die einzelne Hochschule ist zugleich für ihr eigenes Personal verantwortlich. Eine Delegation ist daher nur insoweit denkbar, als es um die praktische Durchführung für Personen der endnutzenden Hochschule geht; deren eigene Verantwortung besteht ohnehin.

Typische Beispiele. Als landeszentrale Stellen kommen beispielsweise Landesrechenzentren, Hochschulverbünde, Landesinitiativen, Landesmedienzentren oder Bildungsserver in Betracht, die Infrastruktur, KI-Plattformen oder Schulungen zentral bereitstellen.

2.9 Delegation an Lehrende

Kann eine Hochschule die praktische Vermittlung von KI-Kompetenz an Studierende den Lehrenden übertragen, beispielsweise indem entsprechende Inhalte in Lehrveranstaltungen eingebunden werden? Welche organisatorische und rechtliche Verantwortung verbleibt trotzdem bei der Hochschule?

Die Umsetzung kann delegiert werden. Die praktische Durchführung kann an Lehrende übertragen werden, insbesondere durch die Einbindung geeigneter Inhalte in Lehrveranstaltungen.

Die Verantwortung bleibt bei der Hochschule. Voraussetzung sind entsprechende organisatorische Vorgaben oder Weisungen der Hochschule. Eine vollständige Entbindung von der Verantwortung ist nicht möglich: Die Hochschule muss weiterhin sicherstellen, dass die erforderliche Kompetenz tatsächlich vermittelt wird.

3.1 Zugang zu GPAI-Modellen

Wenn eine Hochschule ihren Angehörigen einen institutionellen Zugang zu einem allgemein einsetzbaren KI-Modell oder KI-System – sogenannter General-Purpose AI beziehungsweise GPAI – wie ChatGPT bereitstellt: Ist die Hochschule dadurch Anbieter, Betreiber oder beides? Welche Rolle spielt es, ob sie das Modell lediglich zugänglich macht oder technisch weiterentwickelt?

In der Regel Betreiberin. Stellt die Hochschule den Zugang organisatorisch bereit und steuert dessen Nutzung, ist sie in der Regel Betreiberin des KI-Systems. Dazu gehört etwa, Zugänge einzurichten und festzulegen, wer das System institutionell nutzen kann.

Anbieterin nur bei eigener Weiterentwicklung. Zur Anbieterin wird die Hochschule erst, wenn sie das Modell zu einem eigenen KI-System ausbaut oder entsprechend weiterentwickelt. Die bloße Bereitstellung eines Zugangs reicht dafür nicht aus.

***

3.2 Bereitstellung unter einem eigenen Namen, zum Beispiel „GPT@HS“

Ändert sich die rechtliche Rolle einer Hochschule, wenn sie einen externen KI-Dienst unter einem eigenen Namen wie „GPT@HS“ bereitstellt? Wird sie allein durch diese Namensgebung zum Anbieter des KI-Systems, oder bleibt sie Betreiberin eines von einem anderen Unternehmen entwickelten Systems?

Der Name allein ist nicht entscheidend. Die bloße Bezeichnung eines allgemeinen KI-Dienstes mit einem hochschuleigenen Namen ändert den Anbieter- oder Betreiberstatus nach der Einordnung des Gutachtens nicht.

Die besondere Regel gilt nur für Hochrisiko-KI. Art. 25 Abs. 1 Buchst. a KI-VO, der bei einer Kennzeichnung mit eigenem Namen eine Anbieterstellung vorsehen kann, betrifft ausschließlich Hochrisiko-KI-Systeme. Da GPAI-Systeme in der Regel nicht als Hochrisiko-KI eingestuft werden, ist diese Regelung hier nicht anwendbar.

Praktische Folge. Eine Bezeichnung wie „GPT@HS“ macht die Hochschule deshalb nicht allein zur Anbieterin. Sie bleibt bei einer rein organisatorischen Bereitstellung Betreiberin.

***

3.3 Modifikation von GPAI-Systemen

Eine Hochschule kann ein allgemein einsetzbares KI-Modell verändern, beispielsweise durch Fine-Tuning, also eine gezielte Anpassung mit zusätzlichen Daten, durch die Einbindung eigener Wissensbestände mittels RAG oder durch den Austausch technischer Komponenten. Ab welchem Umfang entsteht durch eine solche Veränderung ein eigenständiges KI-System, sodass die Hochschule als Anbieter gilt? Welche Bedeutung haben dabei neu entstehende Risiken?

Entscheidend sind Umfang und Folgen der Änderung. Eine Hochschule kann zur Anbieterin werden, wenn ihre Veränderung ein eigenständiges KI-System entstehen lässt oder neue, nicht ausgeglichene Risiken schafft. Nicht jede technische Anpassung reicht dafür aus.

Für GPAI fehlt eine ausdrückliche Regelung. Die KI-VO regelt diesen Rollenwechsel ausdrücklich nur für Hochrisiko-KI-Systeme in Art. 25 Abs. 1 Buchst. b und c. Für GPAI und andere nicht hochriskante Systeme fehlen direkte Regelungen. Das Gutachten überträgt jedoch den Grundgedanken auf diese Fälle.

Mögliche Abgrenzungskriterien. Anzeichen für ein eigenständiges System können sein, dass aufgrund der Änderung die technische Dokumentation oder Angaben zu den Trainingsdaten angepasst werden müssen. Auch neu entstehende Risiken durch Fine-Tuning, RAG-Integration oder den Austausch von Komponenten sind zu berücksichtigen.

***

3.4 Landeszentraler Zugang

Wenn ein Bundesland über eine zentrale Stelle einen gemeinsamen Zugang zu einem allgemein einsetzbaren KI-System für mehrere Hochschulen bereitstellt: Wer gilt als Anbieter und wer als Betreiber – die zentrale Stelle, der ursprüngliche Entwickler des Systems oder jede einzelne Hochschule, die den Zugang ihren Angehörigen zur Verfügung stellt?

Anbieterrolle der zentralen Stelle nur bei einem eigenen System. Die landeszentrale Stelle wird nur dann Anbieterin, wenn sie durch eine entsprechende Modifikation, etwa durch Fine-Tuning, ein eigenes KI-System schafft. Wird lediglich ein bereits fertiges KI-System zugänglich gemacht, bleibt dessen ursprünglicher Entwickler Anbieter.

Die Hochschulen bleiben Betreiberinnen. Die einzelnen Hochschulen sind Betreiberinnen, sobald sie die institutionelle Nutzung ermöglichen und organisatorische Entscheidungen über den Einsatz durch ihre Angehörigen treffen.

***

3.5 Externe KI-Tools, zum Beispiel Plagiatserkennungssoftware

Wenn eine Hochschule ein extern entwickeltes KI-Tool nutzt und ihren Angehörigen bereitstellt, beispielsweise eine KI-gestützte Plagiatserkennungssoftware: Wer ist Anbieter und wer Betreiber des Systems? Ändert sich diese Rollenverteilung danach, ob das System auf Servern der Hochschule oder bei einem externen Dienstleister betrieben wird?

• Anbieter: Der externe Entwickler, der das KI-Tool entwickelt und in Verkehr bringt, ist Anbieter nach Art. 3 Nr. 3 KI-VO.
• Betreiber: Die Hochschule ist Betreiberin, weil sie das Tool in eigener Verantwortung einsetzt und die organisatorische Kontrolle über die Nutzung ausübt.
• Hosting: Der physische Standort der Server ändert diese Einordnung nicht. Entscheidend ist, wer über den Einsatz des Systems entscheidet.

***

3.6 Vertragliche Vereinbarungen

Können Hochschulen ihre rechtliche Rolle und die damit verbundenen Pflichten als Anbieter oder Betreiber durch einen Vertrag auf den Hersteller oder Entwickler des KI-Systems übertragen, beispielsweise auf OpenAI? Oder richtet sich die rechtliche Einordnung unabhängig vom Vertrag nach den tatsächlichen Umständen? Welche Wirkung können solche Vereinbarungen intern und gegenüber Dritten haben?

Keine vertragliche Verschiebung der gesetzlichen Rolle. Die Rolle als Anbieter oder Betreiber kann nicht allein durch einen Vertrag auf ein anderes Unternehmen übertragen werden.

Entscheidend ist die tatsächliche Aufgabenverteilung. Maßgeblich sind objektive Kriterien und die tatsächlichen Umstände, etwa wer das System entwickelt oder in Verkehr bringt und wer die organisatorische Kontrolle über seinen Einsatz ausübt.

Verträge wirken nur im Innenverhältnis. Vertragliche Vereinbarungen können Rechte, Pflichten oder Verantwortlichkeiten im Innenverhältnis zwischen den Beteiligten ordnen. Gegenüber Dritten ändern sie die rechtliche Einordnung als Anbieter oder Betreiber jedoch nicht.

***

3.7 Open-Source-KI und Teilsysteme

Gelten die sogenannten Erstanbieterpflichten nach Art. 25 Abs. 2 KI-VO – also die dort geregelten Pflichten des ursprünglichen Anbieters – auch für KI-Systeme, die als Open Source bereitgestellt werden? Und wer ist verantwortlich, wenn nur einzelne technische Bausteine, beispielsweise eine RAG-Pipeline zur Einbindung eigener Informationsquellen, in ein Hochrisiko-KI-System integriert werden?

Open Source bei Hochrisiko-KI. Bei Open-Source-KI gelten die Erstanbieterpflichten nach der zugrunde gelegten Einordnung nur, wenn das System bereits ursprünglich als Hochrisiko-KI einzustufen ist. Die Open-Source-Bereitstellung nimmt ein Hochrisiko-System nicht allgemein von diesen Pflichten aus.

Verantwortung für Teilsysteme. Entwickler einzelner Teilsysteme unterliegen nicht selbst den Erstanbieterpflichten. Der ursprüngliche Anbieter des gesamten Hochrisiko-Systems muss aber nach Art. 25 Abs. 4 KI-VO sicherstellen, dass ihm alle für die Pflichtenerfüllung erforderlichen Informationen zur Verfügung stehen. Das schließt Informationen über integrierte Teilsysteme ein.

***

3.8 Integration in eigene Applikationen

Wenn eine Hochschule ein fremdes KI-System in eigene Anwendungen einbindet, beispielsweise in das Intranet oder ein Lernmanagementsystem: Wann bleibt sie lediglich Betreiberin des fremden Systems, und wann entsteht durch die Integration oder eine wesentliche Veränderung ein eigenes KI-System, für das die Hochschule als Anbieter gilt? Spielt es eine Rolle, wo das System technisch betrieben wird?

Maßstab ist die funktionale Abgrenzbarkeit. Die Einordnung hängt davon ab, ob das fremde KI-System funktional klar von der hochschuleigenen Anwendung getrennt bleibt.

• Klar abgegrenztes Fremdsystem: Bleibt das fremde KI-System eigenständig erkennbar, wird die Hochschule durch die bloße Integration nicht zur Anbieterin.
• Umfassendes oder wesentlich verändertes System: Entsteht durch die Integration ein neues nutzbares KI-System oder wird das fremde System wesentlich verändert und unter dem Namen der Hochschule in Betrieb genommen, kann die Hochschule Anbieterin werden.
• Betreiberrolle: Sobald die Hochschule das System in eigener Verantwortung einsetzt, ist sie Betreiberin. Der Hosting-Standort ist dafür unerheblich.

***

3.9 KI in Software Dritter, zum Beispiel Microsoft 365

Wenn eine Hochschule KI-Funktionen in einer bereits eingesetzten Software eines Drittanbieters freischaltet, beispielsweise in Microsoft 365: Wird sie dadurch Anbieterin des KI-Systems, Betreiberin oder beides?

Keine Anbieterrolle. Die Hochschule ist nicht Anbieterin, weil sie das KI-System weder entwickelt noch selbst in Verkehr bringt.

Betreiberrolle durch Freigabe und Nutzung. Sie ist jedoch Betreiberin, weil sie die KI-Funktion eigenverantwortlich freigibt und über deren institutionelle Nutzung entscheidet.

4.1 GPAI-Chatbots

Kann eine Hochschule durch Nutzungsbedingungen festlegen, dass ein allgemein einsetzbarer KI-Chatbot wie ChatGPT nicht für hochriskante Zwecke verwendet werden darf, und dadurch eine Einstufung als Hochrisiko-Anwendung ausschließen? Oder kommt es unabhängig von den Nutzungsbedingungen darauf an, wie der Chatbot tatsächlich eingesetzt wird?

GPAI ist nicht automatisch Hochrisiko-KI. Ein GPAI-Chatbot ist als System mit allgemeinem Verwendungszweck nicht allein wegen seiner allgemeinen Einsatzmöglichkeiten ein Hochrisiko-KI-System.

Nutzungsbedingungen ändern die Einstufung nicht. Nutzungsbedingungen können erlaubte und unerlaubte Nutzungsarten festlegen und vertragliche Fragen regeln. Sie können die regulatorische Einstufung jedoch nicht umgehen.

Auf die tatsächliche Anwendung kommt es an. Entscheidend ist, wofür das System tatsächlich eingesetzt wird und welche Risiken mit diesem Einsatz verbunden sind. Ein Verbot hochriskanter Nutzungen in den Nutzungsbedingungen allein schließt eine entsprechende Einordnung daher nicht aus.

***

4.2 Bewertung von Lernergebnissen

Die KI-Verordnung stuft bestimmte KI-Systeme im Bildungsbereich als hochriskant ein, wenn sie Lernergebnisse bewerten. Was zählt zu einer solchen Bewertung: nur eine vollständig automatisierte Benotung oder auch KI-generiertes Feedback, Leistungsvorhersagen und Notenvorschläge? Wie ist der Einsatz einzuordnen, wenn eine Lehrperson die Ergebnisse der KI prüft und die endgültige Entscheidung trifft?

Erfasst sind Bewertung und Prognose. Der Begriff umfasst die automatisierte Beurteilung von Arbeiten oder Prüfungsleistungen, beispielsweise eine Notenvergabe, sowie die Vorhersage von Leistungen, etwa in Form von Notenprognosen.

Hochrisiko. Eine automatisierte Notenvergabe oder eine Leistungsprognose ist nach der Einordnung des Gutachtens als Hochrisiko-Anwendung anzusehen.

Kein Hochrisiko bei menschlicher Letztentscheidung. Unverbindliches Feedback oder ein Notenvorschlag führt dagegen nicht zur Hochrisiko-Einstufung, wenn eine menschliche Prüferin oder ein menschlicher Prüfer die Letztentscheidung trifft. Der Begriff der Bewertung kann die vorbereitende KI-Unterstützung zwar erfassen; die menschliche Letztentscheidung ist für die Einordnung aber ausschlaggebend.

***

4.3 Steuerung des Lernprozesses

Die KI-Verordnung nennt auch KI-Systeme zur „Steuerung des Lernprozesses“. Welche Anwendungen sind damit gemeint? Gehören dazu nur Systeme, die verbindlich über Einstufungen, Kurszuordnungen oder die Anerkennung von Leistungen entscheiden, oder auch freiwillige Selbstlernangebote und persönliche Feedbackinstrumente, deren Ergebnisse von Lehrenden nicht eingesehen werden können?

Bindende Entscheidungen über den Bildungsweg. Gemeint sind nach dem Gutachten KI-Systeme, die verbindliche Entscheidungen für den Bildungsweg treffen. Beispiele sind Einstufungstests, die Studierende einem Kursniveau zuordnen, oder Entscheidungen über die Anerkennung von Studienleistungen.

Hochrisiko bei verbindlicher Steuerung. Solche institutionell genutzten und verbindlichen Systeme sind als Hochrisiko-Anwendungen einzuordnen.

Freiwillige Lernhilfen sind nicht erfasst. Optionale Selbstlernangebote und persönliche Feedbackinstrumente, die keine bindenden Entscheidungen auslösen, fallen nach dieser Einordnung nicht darunter. Das gilt insbesondere, wenn sie nur den Studierenden dienen und von Lehrenden nicht eingesehen werden.

***

4.4 Bewertung des angemessenen Bildungsniveaus

Was bedeutet in der KI-Verordnung die „Bewertung des angemessenen Bildungsniveaus“? Welche Entscheidungen über den weiteren Bildungsweg oder die Zuordnung zu einem bestimmten Bildungsangebot sind damit gemeint? Wie unterscheidet sich dies von der Bewertung einzelner Lernergebnisse, beispielsweise einer Klausur, Hausarbeit oder sonstigen Prüfungsleistung?

Übergeordnete Bildungswegentscheidung. Die Bewertung des angemessenen Bildungsniveaus betrifft übergeordnete Entscheidungen, die den weiteren Bildungsweg beeinflussen. Als Beispiel nennt die Vorlage die Einstufung auf Grundlage von Abschlussprüfungen, etwa für eine Empfehlung zu weiterführenden Schulen oder Studiengängen.

Abgrenzung zur einzelnen Leistungsbewertung. Davon zu unterscheiden ist die Bewertung einzelner Lernergebnisse. Diese betrifft konkrete Leistungen, beispielsweise eine Note für eine Prüfung oder Hausarbeit.

***

4.5 KI-gestützte Studienberatung

Wann gilt ein KI-gestützter Chatbot zur Studienwahl oder Studienberatung als Hochrisiko-Anwendung? Wie sollte ein solcher Chatbot gestaltet und eingesetzt werden, damit er lediglich informiert und unterstützt, aber keine verbindlichen Entscheidungen über den Bildungsweg einer Person trifft?

Unterstützende Beratung ist nicht hochriskant. Ein Chatbot zur Studienwahl oder Studienberatung ist nach der Einordnung des Gutachtens keine Hochrisiko-Anwendung, solange er nur unterstützt und keine verbindlichen Entscheidungen trifft.

Gestaltungsmaßstab. Der Chatbot sollte daher Informationen oder unverbindliche Empfehlungen bereitstellen. Eine verbindliche Zuordnung zu einem Studiengang oder eine andere bindende Entscheidung über den Bildungsweg darf nicht durch das System getroffen werden.

Welche rechtlichen Besonderheiten müssen Hochschulen beachten, wenn sie für Lehre, Beratung oder andere Hochschulaufgaben Open-Source-KI verwenden oder darauf eigene Anwendungen aufbauen? Welche Pflichten der KI-Verordnung gelten trotz der offenen Bereitstellung weiterhin, insbesondere bei Hochrisiko-Anwendungen, verbotenen Praktiken und Transparenzanforderungen? Wer trägt die Verantwortung, wenn die Hochschule den ursprünglichen Verwendungszweck des Systems verändert?

Keine vollständige Ausnahme. Open-Source-KI ist nur in begrenztem Umfang privilegiert. Die offene Bereitstellung führt nicht zu einer allgemeinen Ausnahme von der KI-VO.

Wichtige fortgeltende Pflichten. Die Vorgaben gelten insbesondere weiter, wenn es sich um Hochrisiko-KI handelt oder wenn verbotene Praktiken nach Art. 5 beziehungsweise Transparenzpflichten nach Art. 50 KI-VO betroffen sind.

Volle Verantwortung bei Zweckänderung. Verändert die Hochschule den ursprünglichen Zweck so, dass eine Hochrisiko-Anwendung entsteht, trägt sie nach der Vorlage die volle Verantwortung. Zugleich besteht kein Anspruch darauf, dass der ursprüngliche Open-Source-Entwickler sie bei der Erfüllung der Pflichten unterstützt.

Praktische Prüffrage
Bei Unsicherheiten sollte besonders geprüft werden, ob das KI-System verbindliche Entscheidungen trifft oder ob durch eine Veränderung des Systems neue Risiken entstehen.