Mit der KI-Verordnung trat am 1. August 2024 das erste große rechtliche Rahmenwerk zum Einsatz von KI im europäischen Kontext in Kraft. Ein Prinzip, das die Verordnung hervorhebt, ist das der „menschlichen Aufsicht“: Akteure, die KI bereitstellen und verwenden, sollen befähigt werden, informierte Entscheidungen zu deren Nutzung zu treffen. Doch ist es mit dem bloßen Einbezug von natürlichen Personen beim Einsatz von KI nicht getan, wie die Vergangenheit gezeigt hat. In unserem Artikel gehen wir auf den berühmten Fall des COMPAS Recidivism Algorithm ein und zeigen dessen Relevanz auch für andere Anwendungskontexte von KI. Wir heben drei Herausforderungen hervor, die für die Umsetzung einer funktionierenden menschlichen Aufsicht im Sinne der KI-Verordnung entscheidend sein werden: Automation Bias, das Monitoren und Testen von KI-Applikationen sowie die Nachvollziehbarkeit von maschinellen Entscheidungen.