Breadcrumb-Diagnostik im Transformer

Eine Spur durch verborgene Blöcke

Ein Trainingslauf kann aus dem falschen Grund ruhig wirken. Der Verlust sinkt, eine Validierungskurve bewegt sich erwartungsgemäß und der Endwert sieht ordentlich aus. Keiner dieser Hinweise zeigt mir, ob die innere Repräsentation noch die Unterschiede trägt, die ein Detektor braucht. In einem Forschungsprojekt zur Bildauthentizität ist diese Sicht auf das Innere entscheidend. Ein Detektor kann ein plausibles Ergebnis ausgeben, nachdem seine verborgenen Schichten genau das Signal verworfen haben, das dieses Ergebnis begründen müsste.

Mit Breadcrumb bezeichne ich einen vorgeschlagenen Beobachtungspunkt im Vorwärtsdurchlauf. Ein abgekoppelter Hook beobachtet die Aktivierung eines Transformer-Blocks, während das Modell trainiert. Er hält eine Beschreibung dieser Aktivierung fest, sendet aber keinen Gradienten durch die Beobachtung zurück. Die Diagnose ist damit eine Zeugin und kein weiteres Trainingsziel. Diese Trennung ist wichtig. Formt der Kennwert den Verlust direkt, kann das Modell den Kennwert verbessern, ohne die Evidenz zu bewahren, die der Kennwert sichtbar machen soll.

Der Vorschlag ist enger als ein Erklärungsanspruch. Ein Breadcrumb weist keinem verborgenen Zustand einen menschlichen Begriff zu. Er beweist nicht, dass ein Block Authentizität versteht. Er zeigt, ob sich ausgewählte Strukturmerkmale während des Lernens verändern. Ich kann ein Endergebnis dann mit dem Weg verbinden, auf dem es entstanden ist, und entscheiden, welcher weitere Test sinnvoll ist.

Der methodische Hintergrund liegt in der One-Class-Anomalieerkennung. DeepSVDD lernt eine Repräsentation und zugleich eine kompakte Grenze um Beobachtungen, die als normal gelten.¹ Damit wird die Repräsentation Teil der Evidenz statt eines unsichtbaren Vorläufers des Ergebnisses. Chong und Kolleginnen und Kollegen zeigen, weshalb das kein rein theoretisches Problem ist. Eine kompakte Hypersphäre kann kollabieren, wenn die Repräsentation trivial wird. Ihre Regularisierer setzen an diesem Risiko an.² DASVDD wählt einen anderen Weg. Das Verfahren verbindet einen Rekonstruktionsterm mit dem Grenzziel, damit eine konstante latente Repräsentation Kosten verursacht.³ DeepSAD erweitert den Rahmen, wenn wenige gelabelte Anomalien vorliegen. Die Frage nach der Anordnung von Information in der Repräsentation bleibt dabei bestehen.⁴

Diese Arbeiten liefern den methodischen Rahmen. Sie validieren den Breadcrumb-Vorschlag nicht. Der Vorschlag ist eine Hypothese zur Beobachtbarkeit des Trainings. Er fordert Messungen außerhalb des Optimierungspfads und behandelt sie als Evidenz für eine Prüfung, nicht als Ersatz für eine Evaluation.

Was die Phase-05-Messung zeigte

Die Phase-05-Messung beobachtete 24 Transformer-Blöcke über 4.762 Batches je Block. Das sind Messwerte aus einem Trainingslauf und keine Schätzung für Transformer im Allgemeinen. Die Hooks waren passiv. Sie beobachteten eingefrorene Blockausgaben, ohne das Backbone zu verändern. Damit beschreibt die Spur, was dieser Lauf zeigte. Sie belegt nicht, dass sich dasselbe Muster bei einer anderen Bildverteilung, einem anderen Lernziel oder einem anderen Modell wiederholt.

Die Messung verwendete drei projektspezifische Diagnosen. BCR beschreibt die Kosinusähnlichkeit zwischen Klassen-Token und dem Mittel der Patch-Token. FOS schätzt aus einer Stichprobe von 256 Token, wie orthogonal die Patch-Merkmale sind. SDI schätzt anhand der ersten 512 Token, ob eine Richtung den Patch-Unterraum dominiert. Diese Definitionen sind Entwurfsentscheidungen. Sie liefern für dieses Projekt eine Linse und keine allgemeingültige Sprache für den Zustand eines Transformers.

In den frühen Blöcken änderte sich die Beziehung zwischen Klassen-Token und Patches schnell. Zunächst lag BCR bei 0,665 plus oder minus 0,052. Bis Block 5 fiel der Wert auf minus 0,023 plus oder minus 0,024. Im selben Bereich stieg FOS von 0,141 plus oder minus 0,126 auf 0,291 plus oder minus 0,143. SDI fiel von 0,202 plus oder minus 0,155 auf 0,114 plus oder minus 0,067. In dieser Messung folgte das Zusammenfassungs-Token dem Patch-Mittel danach nicht mehr eng. Der Patch-Unterraum wurde zugleich weniger von einer Richtung bestimmt.

Die mittleren Blöcke zeigten die stärkste Streuung der Patch-Merkmale. FOS erreichte in Block 16 einen Wert von 0,487 plus oder minus 0,135. Dort lag SDI bei 0,064 plus oder minus 0,028. Diese Kombination passt zu einem Patch-Raum, der breiter gestreut und weniger konzentriert ist. Sie beweist nicht, dass der Block das Authentizitätssignal trägt oder für eine nachgelagerte Entscheidung der beste Block ist. Eine Leitwarte kann eine Reihe grüner Anzeigen zeigen, obwohl ein Sensor das Falsche misst. Die Diagnose braucht einen externen Aufgabentest, bevor sie eine Anpassung begründen kann.

In den letzten Blöcken änderte sich das Muster erneut. In Block 21 stieg BCR auf 0,505 plus oder minus 0,031. Bis Block 24 fiel FOS auf 0,079 plus oder minus 0,018, während SDI auf 0,109 plus oder minus 0,035 stieg. Das gemessene Muster passt zu einer späten Auslese, die Patch-Information in eine Zusammenfassung komprimiert. Es ist kein Beleg dafür, dass Komprimierung schlecht ist. Ein später Block kann genau die Zusammenfassung liefern, die der nachgelagerte Kopf braucht. Die Werte zeigen nur, dass dieses Regime sich von der Mitte des gemessenen Netzes unterscheidet.

Der Breadcrumb-Vorschlag umfasst zwei weitere Messungen, die die Phase-05-Tabelle nicht validiert. Der effektive Rang fasst zusammen, wie breit die singulären Werte die verfügbaren Dimensionen nutzen. CKA-Drift vergleicht die Repräsentation eines Blocks mit ihrem früheren Zustand und fragt, ob sie sich stabilisiert oder weiter verändert. Der vorgeschlagene Layer-Readiness-Score verbindet effektiven Rang, Entropie, gegenseitige Information und CKA-Drift. Die Quelle behandelt diesen Wert und das erwartete Stabilisierungsmuster ausdrücklich als Hypothesen. Das gilt auch hier. Ein zusammengesetzter Wert kann Aufmerksamkeit lenken. Er ersetzt keinen zurückgehaltenen Test und macht aus einer Entwurfsschwelle keinen Befund.

Die Grenzen der Messung sind konkret. FOS ist eine Stichproben-Näherung, weil der Kennwert 256 Token nutzt. SDI nutzt 512 Token. Die Werte stammen aus einer bestimmten Bildverteilung und sind deshalb keine Eigenschaften von Transformern im Allgemeinen. BCR vergleicht das Klassen-Token mit einem Patch-Mittel und nicht mit einer semantischen Referenz. Die Messung kann daher nicht sagen, was ein Klassen-Token bedeutet, ob der Detektor korrekt arbeitet oder ob ein Fehler bei einer neuen Bildquelle gelöst ist.

Von Beobachtung zu gezielter Anpassung

Die praktische Konsequenz betrifft die Feinabstimmung. Eine verbreitete Abkürzung passt einen festen Bereich am Ende eines Transformers an, weil diese Blöcke nah an der Ausgabe liegen. Das kann funktionieren. Es macht den Ort der Anpassung aber zu einer Konvention statt zu einer evidenzbasierten Entscheidung. Der Breadcrumb-Vorschlag verlangt einen anderen Ablauf. Ich beobachte, diagnostiziere, passe ausgewählte Blöcke an und messe erneut.

Das bleibt eine Hypothese und kein berichteter Fortschritt. Eine vorgeschlagene Regel bezeichnet einen Block als blind, wenn CKA über 0,95 liegt und ein linearer Probe-Test unter 60 Prozent Genauigkeit bleibt. Ein verwandter Vorschlag ergänzt geringe Fisher-Information, bevor ein Block für die Anpassung ausgewählt wird. Diese Schwellen sind keine validierten Grenzwerte. Sie sind Startbedingungen für einen Test. Das Ergebnis darf nicht lauten, dass ein Block repariert sei. Es braucht eine neue Messung, eine zurückgehaltene Evaluation und einen Vergleich mit dem nicht angepassten Modell.

Zwischen Block 3 und 5 zeigt BCR einen schnellen Übergang. Im Bereich 14 bis 20 liegen hohes FOS und niedriges SDI vor. Eine erneute BCR-Ausrichtung erscheint in den Blöcken 21 und 22. Diese Beobachtungen identifizieren keine allgemeingültige Auswahl für das Auftauen. Ein späteres Experiment muss prüfen, ob eine selektive Anpassung die relevante Aufgabe verbessert und zugleich die nützliche Struktur der Spur erhält.

Damit ändert sich die Rolle des Monitorings. Es soll das Training nicht mit weiteren Zahlen dekorieren. Ich nutze die Spur, um eine verborgene Repräsentation, eine vorgeschlagene Änderung und eine Evaluation zu verbinden, die widersprechen kann. Ich will wissen, welcher Block sich veränderte, welche Diagnose die Änderung begründete und ob der nächste Lauf aus einem benannten Grund besser wurde. In der Mensch-Maschine-Interaktion hält diese Spur die Anpassung prüfbar. Das Modell darf sich verändern. Die Grundlage der Veränderung muss sichtbar bleiben.

Fußnoten

1. Ruff et al. (2018). “Deep One-Class Classification.” Proceedings of the 35th International Conference on Machine Learning, PMLR 80, pp. 4393-4402.
2. Chong et al. (2020). “Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification.” International Joint Conference on Neural Networks. doi: 10.1109/IJCNN48605.2020.9207209.
3. Hojjati and Armanfard (2024). “DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly Detection.” IEEE Transactions on Knowledge and Data Engineering, 36(8), pp. 3739-3750. doi: 10.1109/TKDE.2023.3328882.
4. Ruff et al. (2020). “Deep Semi-Supervised Anomaly Detection.” International Conference on Learning Representations.