6 min read · 15 sources

OpenAIs erster Inferenzchip, Jalapeño, ist kein Gerücht mehr. Das Unternehmen hat diese Woche frühe Benchmarks veröffentlicht und angekündigt, den Beschleuniger noch vor Jahresende in die eigene Flotte zu bringen. OpenAIs Designteam hat ihn auf die gleichen latenzarmen Agent-Workloads zugeschnitten, die bereits den Großteil des Produktionsverkehrs ausmachen, und das Unternehmen gibt an, KI-Tools hätten beim Schaltungsentwurf und bei der Programmierung der Kernels mitgewirkt. Wenn die Zahlen standhalten, ist dies die erste ernstzunehmende Herausforderung für Nvidia durch ein Frontier-Labor, das seinen gesamten Modell-Stack kontrolliert.

Perplexity wählte einen anderen Weg zum gleichen Ziel. Das neue Produkt Portable Computer ist die agentische Computer-Plattform des Unternehmens, neu verpackt für den vollständigen Betrieb auf Hardware, die Nutzerinnen und Nutzer bereits besitzen. Keine Token-Guthaben, keine Abrechnung pro Aufruf, Modell und Nutzerdaten bleiben auf dem Gerät, und jede Aufgabe startet standardmäßig lokal. Das System fragt nur dann um Erlaubnis, wenn ein einzelner Schritt an ein leistungsfähigeres Cloud-Modell übergeben werden soll. Es ist ab sofort verfügbar für Pro-, Max-, Enterprise-Pro- und Enterprise-Max-Abonnenten unter Linux, Windows folgt im September, und die Mindestvoraussetzung ist eine Nvidia-RTX-Karte mit 24 GB VRAM.

Auf GPT-OSS 120B lieferte Jalapeño höheren Spitzendurchsatz pro Kilowatt und geringere Token-Latenz als die kommerziellen Systeme, gegen die OpenAI ihn testete

Claudes Tokenizer ist deutlich geschrumpft

Source: ianbarber.blog ↗

Tokenizer sind das unspektakuläre Fundament jedes LLM, und Anthropic scheint eine unmodische Wette eingegangen zu sein. Der Forscher Sander Land schätzt, dass der aktuelle Claude-Tokenizer nur noch etwa 15.000 Einträge umfasst, gegenüber rund 50k bei Claude 3 und um Größenordnungen weniger als die 250k-Vokabular-Konfiguration von Qwen 3.8.

Der vorgeschlagene Mechanismus liegt in der Softmax-Schicht am Sprachmodellkopf. Wenn das Vokabular V die Hidden-Dimension D bei Weitem übersteigt, hat der Gradient, der die Logits aktualisiert, höchstens Rang 2D, sodass jeder Batch nur eine zufällige D-große Auswahl des Vokabulars verschieben kann. Das zitierte Paper Lost in Backpropagation: The LM Head is a Gradient Bottleneck argumentiert, dass eine Verkleinerung von V das Training tatsächlich beschleunigen kann. Engineers, die ihren eigenen Tokenizer und LM-Head optimieren, sollten es lesen, bevor sie den Größer-ist-besser-Konsens unhinterfragt übernehmen.

Die Compute-Landschaft konsolidiert sich rasch

Source: dwarkesh.com ↗

Dylan Patel hat sich mit Dwarkesh Patel zusammengesetzt, um den makroskopischen Blick darzulegen. Der SemiAnalysis-Gründer argumentiert, dass OpenAI und Anthropic bald den Großteil der nutzbaren globalen FLOPs kontrollieren werden, weil sie Compute effizienter monetarisieren als alle anderen, einschließlich der Hyperscaler. Bis 2030 prognostiziert das Duo kumulative KI-Capex von mehr als 10 Billionen US-Dollar, mit nicht unerheblicher Wahrscheinlichkeit, dass die sie finanzierenden Schulden die realen Zinssätze anheben, nicht KI-exponierte Sovereigns unter Druck setzen und nicht-KI-Aktien mit nach unten ziehen.

Das Interview ist 48 Minuten lang und lohnt die Zeit für alle, die eine mehrjährige Roadmap bauen. Das zentrale Argument: Compute wird zur zentralisierenden Kraft, und das Fenster für einen Einstieg an der Frontier ist enger, als es der öffentliche Markt derzeit einpreist.

Anwendungs-Moats, wenn die Modelle hereinbrechen

Source: x.com ↗

Gegenpol zur düsteren Seite desselben Trends: Ein langer Beitrag mit dem Titel Moats in the age of floods argumentiert, dass reichlich vorhandene Frontier-Intelligenz die Anwendungsschicht nicht auslöschen wird. Die Analogie des Autors ist Elektrizität, die in den 1880er-Jahren in Fabriken verkabelt wurde, aber erst in den 1920er-Jahren in den Produktivitätsstatistiken auftauchte. Die Verzögerung zwischen Adoption und messbarer Transformation ist in dieser Lesart der größte offene Arbitrage, und er schließt sich.

Für Engineers und Gründerinnen und Gründer lautet die operative Lesart: Arbeit, die Modellausgaben in verlässliche reale Ergebnisse überführt, ist verteidigbar. Koordination, Workflow-Daten, Transformation auf Kundenseite und Abstraktionen höherer Ebene werden als die Bestandteile genannt, die ihren Wert behalten.

Omnimodale Weltmodelle, offene Gewichte

Source: github.com ↗

JD.coms JoyAI-Echo-Repository bündelt zwei Projekte unter einem Dach. Echo-LongVideo generiert bis zu fünf Minuten mehrteilige audio-visuelle Inhalte mit zugehöriger Memory-Bank zur Synchronisation. Echo-WM ist ein interaktives omnimodales Weltmodell auf LTX-2.3, verfügbar als bidirektionale Base-Variante für ~10-s-Clips und als chunk-kausales “Flash Preview” mit KV-Cache-Rollout und 4-Schritt-Inferenz. Eine Roadmap-Notiz kündigt die Migration auf LTX-2.5 und Kostenreduktionen auf Basis von SageAttention an.

Beide werden mit getrennten Python-Umgebungen und Checkpoints ausgeliefert und stehen unter nicht-kommerzieller Forschungslizenz. Die Zielhardware sind Consumer-GPUs, was die Hürde für eine Engineer mit Workstation und einem Wochenende erreichbar macht.

Kurzlebige Credentials für Agents

Source: vercel.com ↗

Vercel Connect hat diese Woche die allgemeine Verfügbarkeit erreicht. Es ersetzt langlebige Provider-Tokens durch zur Laufzeit ausgestellte Credentials, die Agents über das @vercel/connect-SDK zum Aufrufzeitpunkt anfordern. Jedes Deployment trägt eine OIDC-Identität, mit der scoped, sich selbst aktualisierende Tokens für über 100 Konnektoren ausgestellt werden (Slack, GitHub, Snowflake, Shopify, benutzerdefiniertes OAuth), sodass kein Provider-Secret jemals in der App oder im Repository liegen muss.

Das Pattern ist relevant, weil es eine häufige Leak-Klasse vollständig eliminiert. Jeder Schritt in einem Agent-Lauf fordert nur den tatsächlich benötigten Zugriff an, und das Token läuft von selbst ab. Wer mandantenfähige Agent-Systeme betreibt, sollte dies als Baseline betrachten und nicht als optionale Zugabe.

IBM liefert Granite 4.2 aus

Source: huggingface.co ↗

Granite 4.2 ist IBMs erste Familie dichter, decoder-only Reasoning-LLMs, die von Grund auf trainiert wurden, in den Größen 3B, 8B und 30B. Alle drei wurden auf rund 15T Tokens in einer fünfphasigen Pipeline trainiert, die den Kontext auf 512K erweitert, dann CoT-, Instruction- und agentic SFT durchläuft und mit mehrstufigem RL abschließt. Die 8B- und 30B-Varianten enthalten agentic RL in echten sandboxed Umgebungen.

Architektonisch nutzen sie GQA (40 Attention-Heads, 8 KV-Heads) mit Rotary-Embeddings, bieten einen Thinking/Non-Thinking-Switch plus einen Low-Effort-Modus und beherrschen natives Tool-Calling im OpenAI-Format. Sie werden über einen OpenAI-kompatiblen Endpoint ausgeliefert, funktionieren mit vLLM und werden in SGLang unterstützt. Die Lizenz ist Apache 2.0 für die gesamte Familie.

Anthropic führt Memory per Default zusammen

Source: thenextweb.com ↗

Claude und Claude Cowork nutzen jetzt ein gemeinsames Memory-System, standardmäßig aktiviert für Free-, Pro- und Max-Pläne über Web, Desktop und Mobile. Der technische Wandel besteht darin, dass die Memory-Erfassung nicht mehr auf die Zusammenfassung am Konversationsende wartet, Topics werden in Echtzeit während der aktiven Session hinzugefügt, und der User-Checkpoint am Session-Ende entfällt.

Zwei Schalter steuern das Verhalten: einer für die Memory-Generierung und einer für sensible Kategorien (Gesundheit, ethnische Herkunft, Religion, Politik usw., standardmäßig deaktiviert). Jedes gespeicherte Element taucht als editierbare Datei unter “Topics” auf, sodass Datenmodell und Consent-Oberfläche überprüfbar sind. Bestimmte hart ausgeschlossene Inhalte wie Sozialversicherungsnummern bleiben unabhängig davon ausgeschlossen.

Lokales Silizium von Apple, ein Abgang bei OpenAI

Source: apple.com ↗

Apple hat den M6 im Mac mini und den M5 Ultra im Mac Studio vorgestellt. Der M6 ist Apples erstes 2-nm-SoC: 12-Core-CPU, 12-Core-GPU mit Neural Accelerators, dual 16-Core Neural Engine und bis zu 170 GB/s Unified-Memory-Bandbreite. Der M5 Ultra nutzt ein Quad-Die-UltraFusion-Design mit bis zu 36 CPU-Kernen, 80 GPU-Kernen und 1,2 TB/s Unified-Memory-Bandbreite, 50 % mehr als beim M3 Ultra. Beide sind explizit darauf ausgelegt, massive KI-Modelle lokal auszuführen.

OpenAI verlor die Führungskraft, die den Rechenzentrumsausbau verantwortet. Chris Malone schied in der vergangenen Woche aus, in derselben Woche, in der OpenAI die Jalapeño-Ergebnisse veröffentlichte und eine Jahresendinstallation des eigenen Siliziums plante. Der zeitliche Zusammenhang ist als Hinweis, nicht als Beweis zu werten; das Unternehmen hat sich nicht weiter geäußert.

Eine neue Agent-Cloud und ein Web-Index für Agents

Source: appliedcompute.com ↗

Applied Computes AC2 ist eine Plattform für Training, Post-Training und Serving offener Modelle auf gemeinsam genutzter Infrastruktur. Sie wird mit einer Research-Konsole zur Inspektion von Rollouts ausgeliefert, einer RL-Control-Plane, die mit Training-Compute und Kontextlänge skaliert, sowie “Ari”, einem Applied-Research-Agent, der Runs überwacht, Fehlermodi diagnostiziert und Erkenntnisse in die Trainingsdaten zurückspeist. Bring-your-own-Training-Harnesses werden unterstützt. Microsoft, NVIDIA, Cognition, Mercor, DoorDash und Harvey sind als aktuelle Kunden gelistet.

Keenable ist aus dem Stealth-Mode mit einem 26-Millionen-US-Dollar-Seed unter Führung von Accel und Conviction Partners herausgetreten und beansprucht einen Index von über 100 Milliarden Dokumenten sowie eine Query-API, die für KI-Agents statt für Menschen gebaut ist. Das Unternehmen gibt an, dass ungenannte KI-Labore und Inferenz-Provider es bereits für Training und Runtime nutzen, und dass das Voice-AI-Unternehmen Gradium für Live-Retrieval unter Vertrag steht. Die Gründerinnen und Gründer nennen den Rückzug von Google und Microsoft aus ihren öffentlichen Such-APIs als die Lücke, die sie füllen.