Die heutigen KI-Trends
AWS hat einen offenen Benchmarking-Ansatz veröffentlicht, der Cost per correct answer, Agent trajectory cost und rubrikbewertete Ergebnisse verbindet. Die praktische Konsequenz: Bewerte Modelle auf repräsentativen Workloads mit einer festen Annahmeregel, statt sie über Tokenpreis-Tabellen auszuwählen. Der AWS-Beitrag vom 11. September zeigt außerdem, warum das Wachstum von Context über mehrere Turns in das Kostenmodell gehört.
Workflows für Coding-Agenten werden zunehmend über Nachweise eingeordnet, nicht nur über erzeugte Diffs. Cognition beschreibt, dass Devin zusammen mit Fixes Simulator-Aufzeichnungen, bestandene Checks und ausdrücklich nicht getestete Bereiche zurückgibt; außerdem beschreibt das Unternehmen Screenshot-basierte Bug-Eingaben mit einem Screenshot des resultierenden Fixes. Praktisch heißt das: Verlange beim Handoff an Reviewer Testergebnisse, Aufzeichnungen oder gleichwertige Artefakte sowie klar benannte Abdeckungsgrenzen. Die Fallstudie von Cognition ist eine Herstellerdarstellung; Teams sollten das Muster deshalb in ihren eigenen Workflows prüfen.