Zähl die Agenten, die schreiben dürfen, nicht die, die es gibt

Databricks dokumentiert vier Entwurfsmuster für Agentensysteme als Kontinuum: ein einzelnes Modell mit Prompt, eine deterministische Kette mit fest verdrahteten Schritten, ein Einzelagent, der seine Werkzeugaufrufe selbst entscheidet, und ein Multi-Agent-System mit einem Supervisor, der zwischen Spezialisten verteilt.

Eine gute Seite, und sie tut nicht, was ich erwartet hatte. Sie verkauft das obere Ende nicht. Sie sagt:

Fang einfach an. Führe komplexeres Agentenverhalten ein, wenn du es wirklich brauchst.

Und sie benennt die Kosten deutlich: eine Routing-Strategie, Aufwand für Protokollierung, Tracing und Fehlersuche über mehrere Endpunkte hinweg, und Agenten, die „Aufgaben unbegrenzt untereinander hin- und herschieben können, ohne zu einem Ergebnis zu kommen, wenn man sie nicht sorgfältig begrenzt".

Mein Bau liegt nirgends auf dieser Linie, und herauszufinden warum hat länger gedauert, als es sollte.

Fünfzehn haben untersucht, einer hat geschrieben

Beim Bau des Preisindex kamen Agenten stark zum Einsatz, und zwar in zwei völlig verschiedenen Betriebsarten.

Untersuchung wurde breit delegiert. Fünfzehn geschriebene Berichte über dreizehn Domänen: ein Framework-Review gegen dessen eigene Best Practices, ein Performance-Bericht, ein Animationsdurchgang, ein End-to-End-Audit, ein Design-Engineering-Audit, ein Review für Such- und Antwortmaschinen, ein Deploy-Bericht, ein Befund zum Vorrendern, drei getrennte Berichte zur Datenqualität des Crawlers und zwei Produktionsreife-Audits.

Die Umsetzung war einsträngig. Ein Agent, ein Arbeitsbaum, ein Commit nach dem anderen.

Zählt man die Agenten, ist das ein Multi-Agent-System. Sieht man nach, wer eine Datei ändern durfte, ist es ein Einzelagent. Databricks' Kontinuum hat dafür einen Platz, und der Platz ist in beiden Lesarten falsch.

Die Achse, auf die es wirklich ankommt

Das Kontinuum ordnet Systeme danach, wie viel Entscheidung die Laufzeit abgibt. Für ein System, dessen Ausgabe eine Antwort ist, ist das die richtige Achse: ein Supervisor, der eine Frage an einen Spezialisten weitergibt, ist die gesamte Architektur.

Für ein System, dessen Ausgabe ein Repository ist, nicht. Die Frage, die Schmerzen vorhersagt, ist enger:

Wie viele Agenten dürfen gleichzeitig an dieselbe Stelle schreiben?

Lesen parallelisiert kostenlos. Fünfzehn Agenten können dieselbe Codebasis gleichzeitig lesen, und der einzige Preis sind Token. Nichts daran kann kollidieren, weil Lesen keinen Zustand erzeugt, den ein anderer Leser abgleichen müsste.

Schreiben parallelisiert gar nicht, und der Preis ist kein Merge-Konflikt. Die löst Git meistens. Der Preis ist ein Diff, den niemand prüfen kann, weil keine Person und kein Agent den Grund für jeden einzelnen Block kennt. Eine prüfbare Änderung ist eine, bei der ein Leser die Absicht rekonstruieren kann, und Absicht überlebt genau einen Autor.

Was das einbringt, in Databricks' eigenen Begriffen

Die von ihnen genannten Kosten von Multi-Agent sind der Aufwand für Protokollierung, Tracing und Fehlersuche über Endpunkte hinweg. Die Trennung an der Schreibgrenze bezahlt den anders.

• Die Spur ist eine Datei, kein Span. Fünfzehn Untersuchungen ergaben fünfzehn Dokumente. Sie sind einen Monat später noch durchsuchbar, sie tragen ein Urteil je Regel, und um eines zu lesen muss kein Tracing-Backend mehr laufen.
• Das Hin- und Herschieben verschwindet. Agenten können eine Aufgabe nicht unbegrenzt weiterreichen, wenn nur einer von ihnen auf das Ergebnis hin handeln darf. Die anderen erzeugen Befunde, und ein Befund, auf den niemand handelt, ist ein Dokument und keine Schleife.
• Routing ist keine Strategie, sondern eine Liste. Dreizehn Domänen, jede einmal untersucht, jeder Bericht vor der Umsetzung gelesen. Es gibt keinen Supervisor, weil es nichts zu schlichten gibt.

Und der ehrliche Preis, den es gibt: es ist langsamer. Fünfzehn Untersuchungen, die einen Schreiber speisen, sind eine Warteschlange mit einem einzigen Schalter, und der Schreiber ist von Bauart her der Engpass. Ich würde denselben Handel wieder eingehen, aber ich würde nicht so tun, als sei er umsonst.

Wo das Kontinuum recht hat und ich nicht

Zwei Grenzen für all das.

Die Schreibgrenze ist die richtige Achse, um Artefakte zu erzeugen. Sie ist nicht die richtige Achse, um Anfragen zu bedienen. Ist die Ausgabe eine Antwort an einen Nutzer und kein Commit, dann beschreibt Databricks' Ordnung den echten Entwurfsraum und meine gar nichts.

Und „fang einfach an" ist der stärkste Satz auf ihrer Seite. Er ist auch der, gegen den jeder Musterkatalog gelesen wird, denn wer gerade vier Muster gelernt hat, sucht selten die Erlaubnis, das erste zu benutzen. Dass er bei ihnen ganz oben steht, ist der Teil, den ich übernehmen würde.

Next

Das war die letzte der fünf Quellen dieser Reihe. Das Muster über alle hinweg ist dasselbe: jede ist sorgfältig, jede ist vertretbar, und jede ist aus der Schicht geschrieben, in der ihre Autoren arbeiten. PostHog von der Produktoberfläche, Datadog von der Plattform, das Manifest vom Prozess, Databricks von der Laufzeit. Keine ist innerhalb ihrer Schicht falsch, und keine kann den Fehler sehen, der in einer anderen wohnt.

Am härtesten verteidigen würde ich die Trennung von Lesen und Schreiben, weil sie als einzige Behauptung hier von einem Bau überlebt wird oder nicht. Der Text gegen den ersten Wert des Manifests und der über lügende Nachweise stammen aus denselben drei Tagen, und beide wären anders ausgefallen, wenn mehr als ein Agent den Stift gehalten hätte.

Wenn du eine Regel daraus mitnimmst: zähl die Agenten, die schreiben dürfen, nicht die, die es gibt. Ist diese Zahl größer als eins, dann kläre, wer die Absicht rekonstruiert, wenn der Diff falsch ist, und ob diese Person du bist, um zwei Uhr nachts.