6 min read · 13 sources

NVIDIA Groq 3 LPX ist in voller Produktion, und die Schlagzeile, die dem Rest des Inferenzmarkts zusetzt, ist diese: eine 4-fache Antwortzeitverbesserung gegenüber der nächsten alternativen Plattform. Der Chip wird im Vera Rubin-Rack als dedizierter Inferenz-Beschleuniger eingesetzt und zielt direkt auf die agentischen Workloads, die Latenz zum neuen Durchsatz gemacht haben. NVIDIA sagt, dass Aufgaben, die Stunden dauerten, nun in Minuten erledigt werden – eine Aussage, die verändert, wie man einen Agent-Stack konzipiert, nicht nur welche GPU man mietet.

Eine 4-fache Antwortzeitverbesserung klingt nach Marketing-Folie, bis einem klar wird, dass es um die agentische Schleife geht, die Nutzer im letzten Jahr auf Lade-Spinner starren ließ. Wenn die Zahlen in der Produktion standhalten, verschiebt sich die Fragestellung von “wie parallelisieren wir Tool-Calls” hin zu “wie rechnen wir pro Token ab, wenn der Boden so niedrig ist”.

Ein mysteriöses Modell verbrannte in vier Tagen 26 Billionen Tokens

Source: runtimewire.com ↗

Ox Alpha tauchte auf OpenCode auf – ohne Namen, ohne Veröffentlichungsdatum, ohne Wissensstand und ohne Metadaten zu Output-Limits – und verarbeitete in den ersten vier Tagen 26 Billionen Tokens über 8,3 Millionen abgeschlossene Sessions und 327.000 eindeutige Nutzer. Derzeit ist es über einen OpenAI-kompatiblen Endpoint kostenlos nutzbar, und genau das ist der entscheidende Punkt für alle mit existierender Integration: Man kann es durch Änderung einer Base-URL einbinden.

Die plausible Lesart ist, dass ein großes Labor ein neues Modell auf der Distribution eines anderen stresstestet und OpenCode zufällig dort steht, wo die Nutzer sind. Die unbequeme Lesart ist, dass ein unbenanntes Modell nun der meistgenutzte Endpoint auf dem Router ist und der Router das für in Ordnung hält. So oder so: Wer auf OpenRouter-ähnlichen Gateways aufbaut, dessen Kosten- und Latenzannahmen wurden ohne Vorwarnung neu kalibriert.

CUDA kommt – irgendwann – für RISC-V

Source: chipsandcheese.com ↗

Auf der Hot Chips 2026 nutzte NVIDIA seine Keynote, um CUDA-Unterstützung für RISC-V zu signalisieren. Das Argument ist einfach: Wenn CUDA auf RISC-V-Host-CPUs läuft, können RISC-V-Server GPU-Compute genauso versorgen wie heute x86-64 und aarch64, was RISC-V zu einer echten Option für neue Rechenzentrumsbauten macht statt zu einer Spielerei für Embedded Control.

Die Einschränkung ist die Bedingung, die NVIDIA vergraben hat. Die überwiegende Mehrheit bestehender RISC-V-Hardware wird die Anforderungen nicht erfüllen, und das Software-Ökosystem hinkt x86-64 und aarch64 um eine Generation hinterher. Das ist ein Richtungssignal auf fünf Jahre, keine Deployment-Option. Wer heute eine Flotte dimensioniert, für den bleibt RISC-V ein 2028er-Problem.

Das neue wertvollste Ziel im Rechenzentrum ist die Inferenz-Box

Source: boydkane.com ↗

Ein neuer Forschungsbeitrag liefert eine unbequeme These: Die Hostmaschine, die ein Frontier-LLM betreibt, ist der privilegierteste Rechner im Rechenzentrum, und das Modell selbst ist die nicht vertrauenswürdige Eingabe. Ein Angreifer, der die Output-Tokens eines Modells kontrolliert, kann Sequenzen konstruieren, die die Inferenz-Engine beim Laden der Gewichte auf GPUs ausnutzen, wobei Vision- und Audio-Tokens die Angriffsfläche vergrößern.

Die vorgeschlagenen Gegenmaßnahmen sind hart und überfällig. GPUs und Token-Parser auf physisch getrennten Hosts betreiben. Jedes Byte, das ein GPU-Host ausgibt, als nicht vertrauenswürdig behandeln. Die Berechtigungen des GPU-Ladeprozesses so weit einschränken, dass er nichts anderes tun kann als Gewichte laden. Das ist alles nicht kostenlos, und die meisten Produktions-Stacks machen heute das Gegenteil, weil die Latenzbudgets eng sind. Wer eine Model-Serving-Flotte betreibt, für den ist das das Bedrohungsmodell, gegen das in diesem Quartal red-teamed werden muss.

Speculative Programmatic Tool Calling: ein 1,2-facher Speedup für die rekursive-LLM-Fraktion

Source: alexzhang13.github.io ↗

Speculative Programmatic Tool Calling ist eine kleine, nützliche Idee für alle, die rekursive Language Models oder RLMs betreiben. Statt zu warten, bis das Modell die Generierung abgeschlossen hat, bevor ein Tool-Call gestartet wird, feuert sPTC den Call ab, sobald der Harness ihn vorhersagen kann, und überlappt dann die Tool-Ausführung mit dem Rest der Generierung. Die Zahlen sind bescheiden – eine 1- bis 1,2-fache Laufzeitverbesserung –, aber sie zeigen sich genau dort, wo man sie braucht: bei memory-bound lokaler Inferenz und beim hochvolumigen Serving auf latenzkritischen Pfaden.

Die Einordnung im Writeup lautet “JIT-Compiler für Tool-Calls”, und das trifft es ungefähr. Es ist keine Modell-Änderung, sondern eine Harness-Änderung, und das bedeutet: Man kann es ausliefern, ohne etwas neu zu trainieren.

Ökonomie: Wenn die Intelligenz ausreicht, liegt das Geld in der Infrastruktur

Source: x.com ↗

Ein langer Beitrag von Sean Linehan argumentiert, dass KI-Aufgaben zur Commodity werden, sobald die Modelle die maximale Intelligenz überschreiten, die irgendjemand tatsächlich dafür benötigt – und dass Frontier-Labore nur dann reich werden, wenn sie schneller neue Märkte erschließen, als die Konkurrenz die Margen der alten schließt. Das ist die sauberste Neuformulierung der These “Infrastruktur gewinnt, Modelle werden zur Commodity”, die wir dieses Jahr gelesen haben, und der nützliche Schritt ist, die Roadmap nicht mehr über Capabilities zu kalkulieren, sondern über Kosten, Latenz, Distribution und Vertrauen.

Der KI-Bullwhip-Effekt trifft nun die Stückliste

Source: tomtunguz.com ↗

Tom Tunguz durchgeht den KI-Kostenstapel und kommt zu einer bekannten Supply-Chain-Diagnose: GPU-Knappheit trieb die Preise, Speicherhersteller schwenkten auf HBM um, Server-Auslieferungen sanken, und die Baukosten für Rechenzentren stiegen. Die Bullwhip-Metapher passt, denn das Nachfragesignal am oberen Ende der Kette ist tatsächlich volatil, und die Lieferzeiten am unteren Ende sind tatsächlich lang. Wer einen 12-Monats-Bau budgetiert, sollte annehmen, dass Hardware die Position ist, die sich am stärksten bewegt.

Wenn Code im Überfluss vorhanden ist, wird Vertrauen zum Engpass

Source: about.gitlab.com ↗

GitLabs Essay über Softwareentwicklung nach dem Überfluss richtet sich an Engineering-Leadership, aber der Satz, der für einzelne Beitragende zählt, ist dieser: Die Hauptherausforderung hat sich vom Schreiben von Codes hin zum Verifizieren und Vertrauen verlagert. Stripe, Spotify und Amplitude werden als Organisationen genannt, die KI-generierten Code in Produktion gebracht haben, und der gemeinsame Nenner in allen drei Fällen sind Governance, Kontext und Verifikations-Pipelines – nicht der rohe Generierungsdurchsatz. Wer im Team KI-Adoption noch über angenommene Zeilen misst, misst das Falsche.

Anthropic holt sich Googles TPU-Gründer für den Silizium-Vorstoß

Source: runtimewire.com ↗

Amir Salek, der Ingenieur, der Googles Custom-Chip-Programm gegründet und das TPU-Geschäft geleitet hat, ist nun bei Anthropic. Das ist die folgenreichste Personalverpflichtung im Bereich Custom-AI-Silicon in diesem Jahr und das deutlichste Signal, dass die Frontier-Labore entschieden haben: Der Beschleunigermarkt ist ein Zweipferderennen, das sich nicht outsourcen lässt. Erwartbar ist, dass sich Anthropics Trainings- und Inferenz-Ökonomie in den nächsten 18 Monaten von NVIDIA entkoppelt.

Kurznotizen: Wan 3.0, Goodfire-Grants, zwei Repos als Lesezeichen

Source: finance.yahoo.com ↗

Alibaba hat Wan 3.0 veröffentlicht, ein Text-und-Daten-zu-Video-Modell, das 30-Sekunden-Clips generiert – flankiert von einem Rekord-Aktienverkauf über 10 Milliarden Dollar. Die Kombination aus Finanzierungsrunde und Flaggschiff-Modell-Launch in derselben Woche zeigt, wo chinesische Frontier-Labore ihren Hebelpunkt sehen: Kapitalmärkte und Consumer-Grade-Video.

Goodfire hat ein Forschungs-Förderprogramm über 1 Mio. Dollar für KI-Interpretierbarkeit angekündigt, mit kostenlosem Zugang zur eigenen Silico-Plattform. Interpretierbarkeit ist eines der wenigen Teilgebiete, in denen die Werkzeuge der Nachfrage noch vorauseilen – und kostenloses Compute ist der richtige Weg, das Feld zu seeden.

Zwei Repos, die einen Blick lohnen: die Awesome Graph Engineering-Liste, ein kuratierter Index von Papern und Projekten zu dynamischen Graph-Strukturen für Multi-Agent-Systeme, sowie Rome, eine Runtime für persistente Agents und Workflows mit abgesicherter Kollaborationsumgebung. Beide sind früh im Stadium, und beide zielen genau auf die Schicht oberhalb von “Modell in einer Box”.