Katharina Simbeck, Marius Wehner, Linda Fernsel, Lynn Schmodde, Yannick Kalff, Jasmin Georgy, Monika Resner

• Der Auditierungsprozess von KI-Systemen im Bildungsbereich umfasst die Abgrenzung der Systembestandteile, die Identifizierung möglicher Risiken, die Definition von Auditierungskriterien, die Vorbereitung der Überprüfung sowie die Überprüfung der Auditierungskriterien und ein kontinuierliches Monitoring. Die Auditierungskriterien sind domänenspezifisch und angelehnt an die sechs Prinzipien für ethische Learning Analytics Anwendungen nach Slade und Prinsloo (2013). Zur Überprüfung der Kriterien können unter anderem die Dokumentation des KI-Systems gesichtet, der Quellcode analysiert, die dem Algorithmus zugrundeliegenden Daten untersucht und datenbasierte Tests durchgeführt werden. Die Ziele des Audits und der erwünschte Nutzen sollten an die Lernenden kommuniziert werden. Nicht alle Lernenden haben den gleichen Wissensstand in Bezug auf KI-Systeme und können Bedenken gegenüber dem Einsatz von diesen haben (Ifenthaler & Schumacher, 2019). Die Prüfung des Systems durch eine externe Institution kann einen positiven Einfluss auf die Wahrnehmung der Lernenden haben. Lernende empfinden ein System als fairer, wenn sie nachvollziehen können, dass das KI-System geprüft wurde. Lernende nehmen KI-Systeme umso positiver wahr, je mehr Informationen sie erhalten – auch wenn sie auf mögliche Nachteile hingewiesen werden. Die transparente Offenlegung möglicher Nachteile (z. B. technische Grenzen) beim Einsatz eines KI-Systems in der Bildung ist aus ethischer Sicht unabdingbar. Durch regelmäßige Audits wird sichergestellt, dass die KI-Systeme in technischer Hinsicht funktionieren und gleichzeitig fair sind. Zugleich wird die Akzeptanz durch die Studierenden verbessert. Universitäten profitieren daher von Audits ihrer KI-Systeme.
• The audit process of AI systems in the education sector involves delineating the system components, identifying potential risks, defining audit criteria, preparing for the assessment, conducting the audit criteria review, and continuous monitoring. The audit criteria are domain-specific and aligned with the six principles for ethical learning analytics applications outlined by Slade and Prinsloo (2013). Activities such as reviewing documentation of the AI system, analyzing source code, examining the algorithm's underlying data, and conducting data-based tests can be employed to verify the criteria. The objectives of the audit and the desired benefits should be communicated to the learners. Not all learners have the same level of knowledge regarding AI systems and may have concerns about their use (Ifenthaler & Schumacher, 2019). Examining the system by an external institution can positively influence learners' perceptions. Learners perceive a system as fairer when they understand that the AI system has been audited. Learners view AI systems more positively when they receive more information—even when potential drawbacks are pointed out. Transparent disclosure of potential disadvantages (e.g., technical limitations) in using an AI system in education is essential from an ethical standpoint. Regular audits ensure that AI systems function technically while also being fair. Simultaneously, acceptance by students is enhanced. Therefore, universities benefit from audits of their AI systems.