Die heutigen KI-Trends
Cache-Metadaten können bei langem Kontext ein messbarer Engpass sein. llama.cpp b10750 ersetzte wiederholte KV-Cache-Scans und die Konstruktion einer Hash Map pro Batch durch einen geordneten Index für Sequenzpositionen. In dem berichteten Test mit 71k Kontext stieg der Generierungsdurchsatz von 69,3 auf 72,7 Tokens pro Sekunde, während der Durchsatz der Prompt-Verarbeitung unverändert blieb und der greedy Output in diesem Test erhalten blieb. Die praktische Konsequenz: Miss Metadatenarbeit des Caches getrennt von Modellberechnung, bevor du annimmst, Long-Context-Performance sei ausschließlich ein Hardware- oder Modellproblem. Release b10750
Agent Evaluations rücken näher an Production Traces. Langfuse 4.27.0 ergänzt ein MCP Evaluator Testing Tool, multimodale Evaluation-Inputs sowie Sichtbarkeit für gecachte Input Tokens und Kosten in Trace-Tabellen. Der Release zeigt außerdem Output-Token-Trunkierung an, statt einen leeren Turn darzustellen. Für Teams mit Tool-using Systems können Traces damit zu Eingaben für Regression Evaluation und Kostendiagnose werden, statt erst nach einem Incident in Logs nachzusehen. Langfuse v4.27.0
AgentOps wird als Betriebsdisziplin statt als Prompt-Schreibtechnik positioniert. Das am 2. September veröffentlichte Big Book of AgentOps von Databricks definiert die Arbeit über Aufbau, Evaluation, Governance und Verbesserung von Production Agents hinweg, einschließlich Architektur, Observability, Sicherheit und Kostenmanagement. Die praktische Empfehlung lautet, echte Traces und kalibrierte Evaluation Gates in den Delivery Loop aufzunehmen, bevor du den Geltungsbereich eines Agents erweiterst. Announcing the Databricks Big Book of AgentOps