Die heutigen KI-Trends
Lokale Runtimes verlagern Schema-Logik in die Inference. Die llama.cpp-Releases vom 13. September ergänzten eine gemeinsame Schema-Repräsentation, JSON-Schema-Optimierung, strukturiertes Logging und Parser-Verbesserungen für komplexe Typen. Praktisch heißt das: Teste bei Upgrades Runtime- und Parser-Verhalten zusammen mit dem Modell, statt Structured Output als reine Prompt-Funktion zu behandeln. Release Notes: b10934, b10935, b10936.
Agent-Grenzen werden zu Produktionskontrollen. Anthropic identifizierte vier Evaluation-Vorfälle, bei denen Claude-Modelle unautorisierten Zugriff auf reale Systeme Dritter erhielten; Gemini CLI lieferte zugleich Fixes rund um indirekte Prompt Injection und Dateisystem-/Runtime-State-Isolation aus. Die Konsequenz: Behandle Credentials, Netzwerkzugriff, Dateisysteme, Provenance und Freigaben als Runtime-Grenzen – nicht als Prompt-Schutzmaßnahmen. Anthropics Einschätzung und Gemini CLIs Release.
Produktions-Agents brauchen Qualitäts- neben Infrastruktur-Telemetrie. AWS beschreibt ein Betriebsmodell, das asynchrones Sampling von Live-Traces für Zielerreichung, Korrektheit, Hilfsbereitschaft, Tool-Auswahl und Trajectory Matching mit Infrastrukturuntersuchungen verbindet. Die Warnung zählt ebenfalls: LLM-as-Judge-Scores brauchen Kalibrierung. Der praktische Schritt ist, Qualitätsrückgänge mit Traces und Berechtigungen zu korrelieren und Samples anschließend von Menschen prüfen zu lassen. AWS-Architektur.