Zum Inhalt springen

Prozesse und Automatisierung

Human in the Loop

Human in the Loop bezeichnet einen automatisierten Ablauf, in dem ein Mensch an festgelegten Stellen prüft, korrigiert oder entscheidet, bevor das System weitermacht, typischerweise bei unsicheren Ergebnissen, hohen Beträgen oder Entscheidungen mit Folgen für Personen.

Auch: HITL, Mensch in der Schleife, menschliche Aufsicht, Human on the Loop

Der Ausdruck wird in Regelungstechnik, Simulation und maschinellem Lernen verwendet und beschreibt eine einfache Idee: Eine Maschine erledigt die Arbeit, aber an bestimmten Stellen hält sie an und wartet auf einen Menschen. Der Mensch prüft ein Ergebnis, ergänzt eine fehlende Angabe oder gibt eine Entscheidung frei. Erst dann geht es weiter.

In der Prozessautomatisierung ist das der Normalfall, nicht die Ausnahme. Kaum ein Ablauf lässt sich so beschreiben, dass jeder Fall ohne Ermessen entschieden werden kann. Und seit Sprachmodelle freie Texte verarbeiten, kommt ein zweiter Grund hinzu: Ihre Ergebnisse sind meist richtig, aber nicht immer, und sie wirken auch dann überzeugend, wenn sie falsch sind. Der Eintrag zur Halluzination erklärt, warum.

Drei Grade der Beteiligung

Wie eng der Mensch eingebunden ist, lässt sich grob in drei Stufen beschreiben. Die Begriffe sind nicht genormt, werden aber in Fachliteratur und Praxis weitgehend so verwendet.

Stufe Rolle des Menschen Beispiel
Human in the Loop Entscheidet im Einzelfall, bevor das System handelt Freigabe einer Zahlung, die das System vorbereitet hat
Human on the Loop Überwacht den laufenden Betrieb und greift bei Auffälligkeiten ein Stichproben und Kennzahlen bei automatisch gebuchten Rechnungen
Human out of the Loop Ist am einzelnen Vorgang nicht beteiligt Vollständige Dunkelverarbeitung einfacher Fälle

Die meisten Automatisierungen verbinden die Stufen. Eindeutige Fälle laufen ohne Eingriff durch, unsichere landen beim Menschen, und über allem liegt eine Überwachung, die bemerkt, wenn sich das Verhältnis verschiebt.

Wo der Mensch eingreifen sollte

Die Frage ist nicht, ob ein Mensch beteiligt ist, sondern an welcher Stelle. Vier Auslöser haben sich bewährt.

Unsicherheit. Das System kann nicht sicher sagen, ob es einen Eingang richtig verstanden hat, etwa weil ein Feld schlecht lesbar ist oder ein Sprachmodell zwei Deutungen für möglich hält. Solche Fälle sollten nicht still übernommen, sondern mit markierter Stelle vorgelegt werden.

Abweichung. Die erkannten Daten passen nicht zu dem, was bekannt ist: ein Preis, der nicht zur Bestellung passt, eine neue Bankverbindung, ein unbekannter Absender.

Tragweite. Manche Entscheidungen soll das System nie allein treffen, gleichgültig wie sicher es ist: Zahlungen über einer Betragsgrenze, Kündigungen, Mitteilungen mit rechtlicher Wirkung.

Unumkehrbarkeit. Eine falsch angelegte Bestellung lässt sich stornieren. Eine versandte E-Mail an einen Kunden oder eine ausgeführte Überweisung nicht. Je schwerer ein Schritt zurückzunehmen ist, desto eher gehört eine Freigabe davor. Bei KI-Agenten, die selbst Werkzeuge aufrufen, ist das die wichtigste Regel überhaupt.

Das Problem mit dem Abnicken

Ein Mensch in der Schleife schützt nur, wenn er tatsächlich prüft. In der Praxis gibt es eine starke Neigung, einem System zu glauben, das meistens recht hat. Wer am Tag hundert Vorschläge sieht, von denen fast alle stimmen, klickt irgendwann auf „Bestätigen“, ohne hinzusehen. Die KI-Verordnung der EU nennt dieses Phänomen ausdrücklich: Artikel 14 Absatz 4 Buchstabe b verlangt, dass die Personen, die ein Hochrisiko-KI-System beaufsichtigen, sich der Neigung bewusst bleiben, sich automatisch oder übermäßig auf dessen Ausgaben zu verlassen. Der Fachbegriff dafür ist Automatisierungsbias.

Dagegen helfen nicht Appelle, sondern Gestaltung:

  • dem Menschen nur die Fälle vorlegen, bei denen es etwas zu entscheiden gibt, statt jeden Vorgang zur Bestätigung
  • die strittige Stelle hervorheben und die Quelle daneben zeigen, damit der Vergleich Sekunden statt Minuten dauert
  • den Grund nennen, warum der Fall vorgelegt wird
  • „Ablehnen“ und „Korrigieren“ genauso einfach machen wie „Bestätigen“
  • gelegentlich Fälle mit bekanntem Ergebnis einstreuen oder Stichproben nachprüfen, um zu sehen, ob die Prüfung wirkt

Jede Korrektur ist außerdem eine Information. Wenn Menschen an derselben Stelle immer wieder eingreifen, fehlt dort eine Regel, ein Datenabgleich oder eine bessere Anweisung an das Modell.

Was das Recht verlangt

KI-Verordnung. Artikel 14 der Verordnung (EU) 2024/1689 verlangt für Hochrisiko-KI-Systeme, dass sie während ihrer Nutzung von natürlichen Personen wirksam beaufsichtigt werden können. Die beaufsichtigenden Personen sollen unter anderem Fähigkeiten und Grenzen des Systems verstehen, seine Ausgaben richtig deuten, sie im Einzelfall außer Acht lassen oder umkehren und das System anhalten können. Artikel 26 Absatz 2 verpflichtet die Betreiber, diese Aufsicht Personen zu übertragen, die die nötige Kompetenz, Schulung und Befugnis haben. Diese Pflichten gelten nur für Hochrisiko-Systeme, also etwa für KI in Beschäftigung und Personalauswahl, Bildung oder kritischer Infrastruktur, nicht für jede Rechnungserkennung. Nach dem Stand im Oktober 2026 gelten die Regeln für Hochrisiko-Systeme in den Bereichen des Anhangs III nach der Änderung durch den sogenannten AI Omnibus ab dem 2. Dezember 2027, für Systeme in regulierten Produkten ab dem 2. August 2028. Details stehen im Eintrag zur KI-Verordnung.

Datenschutz. Unabhängig von der KI-Verordnung gibt Art. 22 DSGVO Personen das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Ist sie ausnahmsweise erlaubt, weil sie für einen Vertrag erforderlich ist oder die Person ausdrücklich eingewilligt hat, gehört nach Art. 22 Absatz 3 mindestens das Recht dazu, das Eingreifen einer Person zu erwirken. Ein Mensch, der Entscheidungen nur formal abzeichnet, ohne sie ändern zu können oder zu wollen, ist dafür eine schwache Grundlage. Mehr dazu im Eintrag automatisierte Einzelentscheidung.

Fragen für die Planung

Bevor ein Ablauf gebaut wird, sollten ein paar Punkte geklärt sein. Welche Fälle dürfen ohne Prüfung durchlaufen, und wer hat das entschieden? Wie viele Vorlagen am Tag sind für die zuständigen Personen realistisch, ohne dass die Prüfung zur Formsache wird? Was sieht der Mensch, wenn ihm ein Fall vorgelegt wird? Wer darf die Schwellen ändern, ab denen ein Fall vorgelegt wird? Und wie wird festgehalten, wer was freigegeben hat?

Quellen

  1. KI-Verordnung (EU) 2024/1689, Artikel 14: Human oversight, Europäische Kommission, AI Act Service Desk, 2024
  2. KI-Verordnung (EU) 2024/1689, Artikel 26: Obligations of deployers of high-risk AI systems, Europäische Kommission, AI Act Service Desk, 2024
  3. AI Act: Regulatory framework on AI, Europäische Kommission, 2026
  4. DSGVO und BDSG: Texte und Erläuterungen (darin Art. 22 DSGVO), Die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit, 2026

Inhaltlich geprüft im Oktober 2026. Der Eintrag erklärt einen Begriff und ersetzt keine Rechts- oder Steuerberatung.

Welcher Prozess kostet Ihr Team jeden Tag unnötig Zeit?

Bringen Sie einen konkreten Ablauf mit. In 45 Minuten klären wir, ob sich seine Automatisierung rechnet und was der nächste Schritt wäre.

Direkt mit einem Gründer · unverbindlich · ohne Verkaufsshow

Erst ein Prozess.
Dann der nächste.