Augmented Work und die Kooperation von Mensch und Agent

Kooperation braucht eine prüfbare Umgebung

Eine Einsatzleiterin zeigt auf eine gesperrte Straße in einer Karte. Eine Drohne hat eine Ausweichroute gefunden. Die Route führt jedoch durch einen Bereich, in dem die Einsatzleiterin ein weiteres Team erwartet. Ein hilfreiches System wählt nicht einfach einen Weg. Es macht seinen nächsten Schritt nachvollziehbar, nimmt neue Informationen auf und lässt der Person Raum, den Plan zu ändern. Diese Art der Zusammenarbeit wollte ich in meiner Masterarbeit greifbar machen.

Die Arbeit untersuchte Augmented Work in Multi-Agent-Reinforcement-Learning-Umgebungen. Ich stellte eine engere Frage als die, ob ein autonomer Agent eine Aufgabe erledigt. Mich interessierte, welche Umgebungen die Kooperation von Menschen und Agenten untersuchbar machen und welches Feedback das Verhalten eines Agenten während des Trainings besser einordnen kann. Ein hoher Aufgabenwert beantwortet beides nicht. Ein Agent kann ein Ziel in einer Simulation erreichen, obwohl sein Verhalten schwer vorhersehbar ist, sich nicht beeinflussen lässt oder für eine gemeinsame Aufgabe ungeeignet bleibt.

Reinforcement Learning eignet sich für diese Untersuchung, weil Handlungen in einer Umgebung erkennbare Folgen haben. Ein Agent erhält Rückmeldung über Belohnungen, passt seine Handlungsstrategie an und trifft später auf die Folgen dieser Anpassung. In einer Multi-Agent-Umgebung tritt ein Problem hinzu, das ein Einzelagenten-Benchmark verdecken kann. Ein wirksamer Zug kann einen anderen Beteiligten behindern. Er kann auch eine Möglichkeit schaffen, die der andere Beteiligte nutzen kann. Das Ergebnis hängt von der Aufgabe, den verfügbaren Informationen, dem Zeitpunkt der Handlungen und der Art der Rückmeldung ab.

Ich behandelte die Umgebung daher als Forschungsinfrastruktur und nicht als neutralen Behälter. Sie muss Kooperation zulassen, aber auch sichtbar machen. Für die Bewertung prüfte ich kooperative Aufgaben, messbaren Fortschritt, Lernrückmeldung, Anpassbarkeit, Dokumentation und eine visuelle Darstellung der Interaktion. Diese Kriterien sind praktisch. Ohne gemeinsames Ziel lässt sich Zusammenarbeit nicht erkennen. Ohne Rückmeldung oder Messung lassen sich Trainingsläufe nicht vergleichen. Ohne veränderbare Bedingungen kann ein vielversprechendes Ergebnis nicht unter einer neuen Bedingung geprüft werden. Eine visuelle Darstellung erfüllt einen anderen Zweck. Sie erlaubt zu prüfen, ob ein Kennwert zu den Handlungen passt, die ihn erzeugt haben.

Die Arbeit bezog verbreitete Schnittstellen und Testumgebungen ein, darunter Gymnasium und DeepMind Lab 2D. Gymnasium stellte eine gemeinsame Schnittstelle für Reinforcement-Learning-Experimente bereit. Das löste die Multi-Agenten-Frage nicht selbst. Deshalb betrachtete die Evaluation auch Frameworks und Umgebungen mit kompatiblen Schnittstellen. DeepMind Lab 2D stand für einen anderen Entwurfsraum mit interaktiven Umgebungen für gleichzeitige oder abwechselnde Interaktion. Keiner dieser Namen belegt, dass eine Umgebung für Mensch-Maschine-Interaktion geeignet ist. Entscheidend ist, was Beteiligte während einer gemeinsamen Aufgabe beobachten, verändern und überprüfen können.

Für eine genauere Bewertung wählte die Arbeit fünf Umgebungen aus, Hanabi, PistonBall Version 6, Cooperative Pong Version 5, Overcooked-AI sowie Unity mit ML-Agents. Sie unterschieden sich in Zugfolge, visueller Darstellung, Zahl der Beteiligten und Art der kooperativen Aufgabe. Hanabi machte Abstimmung unter unvollständiger Information sichtbar. PistonBall zeigte eine gemeinsame physische Aufgabe. Cooperative Pong legte Ausdauer und Timing offen. Overcooked-AI bot einen Rahmen, in dem Menschen und Agenten auf ein gemeinsames Ziel hinarbeiten konnten. Unity mit ML-Agents erweiterte den Raum für interaktive Szenarien. Die Auswahl war eine Bewertung von Umgebungen. Sie belegt nicht, dass eine der Umgebungen Arbeit im Feld abbildet.

Vom Aufgabenwert zu einem Prototyp der Teambereitschaft

Das zentrale Artefakt war ein Prototyp des Team-Readiness-Score. Der Name war bewusst gewählt. Der Wert war kein Maß für Vertrauen, Absicht oder menschliche Akzeptanz. Er sollte ausgewählte Trainingssignale in einem Wert sichtbar machen, der eine genauere Prüfung auslöst. Die erste Formel multiplizierte den erwarteten Reward mit der Advantage-Funktion und teilte das Ergebnis durch den gesamten Verlust. Vereinfacht verband sie ein Signal über die beobachtete Rückgabe, ein Signal darüber, wie eine Handlung im Vergleich zur erwarteten Handlungsstrategie abschnitt, und einen normalisierenden Verlustterm.

team_readiness = expected_reward * advantage / total_loss

Jeder dieser Bestandteile erfüllt eine Funktion. Keiner besitzt für sich eine menschliche Bedeutung. Reward zeigt, was die Umgebung verstärkt. Die Advantage-Funktion schätzt, ob eine konkrete Handlung in diesem Zustand besser oder schlechter als die Erwartung der Strategie war. Der Verlust beschreibt das Optimierungsziel, nicht die Erfahrung eines Beteiligten. Die Kombination kann nur dann ein brauchbarer Trainingsindikator sein, wenn Umgebung, Reward-Gestaltung und Evaluationsfrage klar benannt sind. Ein Wert kann Aufgabenoptimierung nicht in einen Nachweis über das Verständnis einer Person verwandeln.

Die Arbeit untersuchte auch Varianten, die statt des gesamten Verlusts den Policy-Loss oder den Value-Loss verwendeten. Ein weiterer Vorschlag ergänzte eine Rückmeldung durch Nutzende. Eine Person, die mit dem Agenten arbeitet, könnte damit die aktuelle Einschätzung beeinflussen. Dieser Vorschlag war eine Entwurfshypothese und keine validierte Interaktionsstudie. Er zeigt eine Forschungsrichtung. Ein späteres Experiment müsste bestimmen, was die Person bewertet, wann die Bewertung erfasst wird, wie mit Widerspruch umgegangen wird und ob die Rückmeldung spätere Handlungen des Agenten auf nachvollziehbare Weise verändert.

Die Experimente nutzten Proximal Policy Optimization für 500 Trainingsläufe mit vier bis 20 autonomen Agenten. Die berichteten Tabellen vergleichen Kontrollpunkte nach 250 und 500 Epochen für ausgewählte Umgebungen. Bei PistonBall Version 6 sank der berichtete Verlust von 29,59 auf 11,18. Der Team-Readiness-Score veränderte sich von 15,95 auf 9,162. Der mittlere Reward veränderte sich ebenfalls von 3,805 auf 0,9143. Diese Messungen zeigen eine Grenze. Der Wert war kein einfacher Fortschrittsmesser. Ein geringerer Optimierungsverlust belegte kein besseres kooperatives Ergebnis. Eine Veränderung des Werts musste zusammen mit der Umgebung und den weiteren aufgezeichneten Signalen geprüft werden.

Cooperative Pong Version 5 macht die Grenze noch deutlicher. Der berichtete Team-Readiness-Score lag an beiden Kontrollpunkten bei minus 0,1244. Reward-Werte waren in dieser Tabelle nicht verfügbar. Ein Wert, der teilweise auf Reward beruht, kann bei fehlender Eingabe nicht als vollständiger Nachweis gelten. Das bedeutet nicht, dass die Umgebung versagte. Die Metrik braucht Prüfungen der Datenqualität, einen festgelegten Umgang mit fehlenden Werten und einen Vergleich mit beobachteter Kooperation, bevor sie eine Aussage über Teambereitschaft tragen kann.

Die berichteten numerischen Team-Readiness-Werte für Overcooked-AI lasse ich in diesem Essay aus. Die Quellenauswertung verlangt vor einer Veröffentlichung dieser Werte eine Prüfung. Diese Entscheidung ist wichtiger als eine vollständig wirkende Tabelle. Eine Forschungsmetrik muss Unsicherheit dort sichtbar machen, wo eine Zahl sonst leicht als Schlussfolgerung gelesen wird.

Was die Arbeit belegt und was offenblieb

Die Masterarbeit lieferte einen ersten Rahmen für die Bewertung von Umgebungen und einen Prototyp eines Trainingsindikators für Kooperation. Sie zeigte, dass sich Umgebungen in den Eigenschaften unterscheiden, die für eine gemeinsame Aufgabe nötig sind. Sie dokumentierte einen Wert aus Reward, Advantage und Verlust. Sie hielt auch praktische Reibung fest. Versionskonflikte zwischen Reinforcement-Learning-Paketen erforderten getrennte Python-Umgebungen und begrenzten die Entwicklung einer einheitlichen Webanwendung. Reproduzierbarkeit ist deshalb Teil des Ergebnisses. Ein Versuch, dessen Umgebung nicht stabil bleibt, lässt sich schwer prüfen, wiederholen oder erweitern.

Die Arbeit validierte den Team-Readiness-Score nicht in einer breit angelegten Studie mit Teilnehmenden. Sie belegte nicht, dass ein positiver Wert gute Zusammenarbeit mit einer Person vorhersagt. Sie zeigte nicht, dass der Wert zwischen Umgebungen übertragbar ist oder ein Einsatzsystem bewerten kann. Die Trainingsläufe nutzten autonome Agenten. Menschliche Beteiligung war in geeigneten Umgebungen vorgesehen. Die verfügbare Arbeit lieferte jedoch nicht die größere Studie mit Menschen, die Teamverhalten über unterschiedliche Personen und Aufgaben hinweg bewerten könnte.

Damit bleibt auch der Anwendungshinweis klar begrenzt. Katastrophenhilfe ist ein mögliches Zukunftsszenario und kein evaluierter Einsatz. Eine Drohne könnte eine menschliche Einsatzleitung nur dann unterstützen, wenn ihre Hinweise, Grenzen und Übergaben für diesen Kontext entworfen und mit den späteren Nutzenden geprüft werden. Eine simulierte Route oder ein kooperatives Spiel belegt diese Bereitschaft nicht. Sie können Fragen isolieren, bevor die Folgen real sind. Kann die Person den Plan ändern? Legt der Agent die Informationen hinter einer Handlung offen? Führt Rückmeldung zu einer Veränderung, die die Person verstehen kann? Diese Fragen gehören in die Evaluation, bevor einem System eine zeitkritische Aufgabe anvertraut wird.

Der bleibende Beitrag der Arbeit ist daher methodisch. Mensch-Maschine-Interaktion braucht mehr als einen Agenten, der Reward erzielt. Sie braucht eine Umgebung, die Interaktion sichtbar macht, Metriken, die ihren Gegenstand benennen, und Versuche, die die Person mit der Entscheidung verbunden halten. Der Team-Readiness-Score war mein erster Versuch, diese Teile zusammenzuführen. Seine Grenzen gehören zum Ergebnis. Sie beschreiben die Arbeit, die noch nötig ist, bevor ein Trainingssignal als Nachweis für einen fähigen Teamkollegen gelten kann.