6 min read · 15 sources

Meta hat offene Gewichte für Muse Spark Open veröffentlicht, ein 816‑Milliarden‑Parameter‑Mixture‑of‑Experts‑Modell, das 42 Milliarden Parameter pro Token aktiviert. Die Veröffentlichung beinhaltet ein 1‑Million‑Token‑Kontextfenster, native multimodale Unterstützung und richtet sich an autonome Codierungs‑Workflows. Anstatt die Gewichte hinter einer Enterprise‑Cluster‑Anforderung zu sperren, hat Meta das Speicherlayout so abgestimmt, dass das Modell über zwei vernetzte Apple M5 Ultra Mac Studios via MLX und eigene Helion‑Kernels läuft.

Für Produktionsteams bedeutet das, dass ein Frontier‑Klasse‑Agentic‑Modell auf Workstation‑Hardware ohne Cloud‑API‑Abhängigkeit betrieben werden kann. Werden dedizierte GPU‑Cluster eingesetzt, lassen sich die Checkpoints direkt in gängige Serving‑Stacks wie vLLM, SGLang und TensorRT‑LLM einbinden.

Gleichzeitig setzt die Enterprise‑Pre‑Training‑Infrastruktur neue Skalierungs‑Baselines. Microsoft hat die Architekturdetails zu MAI‑Base‑2 veröffentlicht, einem 2,8‑Trillionen‑Parameter‑MoE‑Foundation‑Modell, während Produktions‑Telemetrie von Vercel zeigt, dass der Open‑Weight‑Traffic einen beispiellosen Wendepunkt überschreitet.

Open‑Weight‑Modelle verarbeiten mehr als sieben von zehn Gateway‑Token, erfassen jedoch weniger als ein Viertel der Ausgaben.

Microsoft Trains 2.8T Parameters Across 16,000 GB200s

Source: microsoft.ai ↗

Microsoft beschrieb den Pre‑Training‑Durchlauf für MAI‑Base‑2, ein Enterprise‑MoE, das 80 Milliarden Parameter von insgesamt 2,8 Trillionen aktiviert. Der Durchlauf dauerte 38 Tage auf einem Cluster von 16 000 NVIDIA GB200‑GPUs, bei 89 % Cluster‑Goodput und 21 % Model‑FLOPs‑Utilization (MFU). Microsoft behauptet, 4‑ bis 12‑fach bessere FLOPs‑Effizienz gegenüber DeepSeek‑V4‑Pro‑Base bei gehaltenen Evaluierungen zu erreichen.

Der Stack verzichtet auf synthetische Destillation zugunsten organischer Datenpipelines, unterstützt durch Infra‑Model‑Co‑Design‑Techniken wie Muon‑Optimizers und aggressives Aktivierungs‑Gradient‑Clipping. Die resultierenden Gewichte werden downstream über Azure Foundry an Enterprise‑Kunden bereitgestellt und bilden die Grundschicht für Microsofts proprietäre Geschäftszweige.

Vercel Gateway: Open Weights Reach 71.5% Token Share

Source: vercel.com ↗

Vercel hat seinen October 2026 AI Gateway Production Index veröffentlicht, der zeigt, dass Open‑Weight‑Modelle jetzt 71,5 % des gesamten Token‑Volumens ausmachen. Der Open‑Weight‑Compute‑Spend hat sich seit Juni vervierfacht und erfasst nun 23 % der gesamten Gateway‑Ausgaben. Der Bericht hebt einen massiven Wandel im Backend‑Routing hervor: Fast jedes dritte Engineering‑Team wechselte im September den primären Modell‑Provider.

Die Kostenverteilung bleibt stark unausgewogen zwischen den Architekturen. DeepSeek‑v4.1‑Flash bearbeitete fast die Hälfte des gesamten Token‑Volumens, erfasste jedoch nur 2,6 % des Kundenausgabenvolumens dank aggressiver Token‑Preisgestaltung. Im Gegensatz dazu trugen hochkapazitäre Modelle wie Kimi K3 zu zwei Dritteln des Anstiegs beim Open‑Weight‑Spend bei, was zeigt, dass Teams Commodity‑Anfragen zu ultra‑günstigen Pipelines leiten, während sie die Marge für komplexe Agentic‑Workloads erhalten.

Liquid AI Targets Classification With d1-ultra

Source: liquid.ai ↗

Liquid AI hat d1-ultra veröffentlicht, ein multimodales Entscheidungs‑Modell zum Preis von 0,042 $ pro Million Eingabe‑Token. Im Gegensatz zu generativen Text‑Engines, die in Verifikations‑Aufgaben gepresst werden, ist d1‑ultra speziell für Scoring, binäre Validierung und Mehrfach‑Auswahl‑Klassifikation gebaut. Es akzeptiert gemischte Bild‑ und Text‑Payloads und gibt kalibrierte Wahrscheinlichkeits‑Scores aus, ohne konversationellen Overhead zu erzeugen.

Das Modell übertraf Jev 1.14 in 112 internen Benchmarks und belegte den ersten Platz im Artificial‑Analysis‑Decision‑Index um 8 Punkte. Für Produktions‑Architekturen, die optische Defekt‑Inspektion, automatisierte Inhalts‑Moderation oder Dokumenten‑Ingestion durchführen, bietet die API deterministisches Scoring bei einem Bruchteil der Latenz und Kosten von Frontier‑LLMs. Liquid AI bestätigte, dass Integrationen für Vercel und OpenRouter in Kürze ausgeliefert werden.

Interpretability Research Argues Superposition Is Overblown

Source: already-clean.goodfire.com ↗

Ein Forschungspapier von Goodfire argumentiert, dass neural networks are already clean und stellt die Grundannahme infrage, dass Polysemanticität hauptsächlich durch Superposition verursacht wird. Historisch gingen Forscher davon aus, dass Modelle unzusammenhängende Konzepte in einzelne Neuronen packen, weil der Parameterraum nicht genügend Dimensionen bot und komplexes Dictionary‑Learning zum Entwirren interner Zustände erforderte.

Goodfires Analyse zeigt, dass scheinbar willkürliches Packen größtenteils rekursive Generalisierung ist. Wenn Netzwerke Konzepte natürlich in strukturierte rekursive Abstraktionen organisieren statt in unordentlichen Overlays, können Ingenieure interne Repräsentationen direkt analysieren, ohne komplexe Post‑hoc‑Dekompositions‑Schichten. Das Ergebnis vereinfacht die Perspektive für mechanistische Interpretierbarkeit und legt nahe, dass Sicherheits‑Audits Modell‑Aktivierungen prüfen können, ohne massive Projektions‑Dictionaries zu bauen.

Policy Gradients Act as Parameter Covariances

Source: richardli.xyz ↗

Ein mathematischer Deep‑Dive zu expected policy gradients zeigt, warum Reinforcement‑Learning, Supervised‑Fine‑Tuning und On‑Policy‑Distillation nur 5 % bis 30 % der Modell‑Parameter während des Post‑Trainings verändern. Das Papier formalisiert, dass der erwartete Policy‑Gradient als Kovarianz wirkt, während die diagonale Fisher‑Information‑Matrix als Varianz der Logit‑Sensitivitäten fungiert.

Da die Score‑Funktion unter der Stichproben‑Verteilung einen Mittelwert von Null beibehält, werden Parameter‑Updates strikt durch die Fisher‑Matrix begrenzt, unabhängig von der Größe der skalaren Belohnung. Verschiebt ein Parameter alle Kandidaten‑Token gleichmäßig, ergibt das Update null. Dieses Rahmenwerk gibt ML‑Ingenieuren ein Mittel, die Parameter‑Sparsamkeit vorherzusagen und Gewicht‑Updates mathematisch zu berechnen, ohne teure On‑Policy‑Rollouts auszuführen.

Long-Horizon Agent RL Faces Trajectory Drift

Source: ianbarber.blog ↗

Post‑Training‑Setups für mehrstufige Agentic‑Workflows stoßen an Hardware‑ und Distributions‑Grenzen, wie in einer Analyse zu multi-turn reinforcement learning beschrieben. Während Single‑Turn‑RL auf einfache Prompt‑Completion‑Scoring setzt, laufen Agent‑Rollouts über Stunden - etwa Alibaba’s 4‑Stunden‑Sessions für sein 2,4 T‑Modell - und involvieren beliebige Sub‑Agents, externe Bash‑Befehle und dynamische Kontext‑Kompression.

Diese verlängerten Trajektorien reduzieren die GPU‑Auslastung und führen zu Policy‑Drift, wenn Ausführungs‑Sandboxes Rollouts preempten oder verzögern. Infrastruktur‑Teams reagieren mit zwei Mustern: persistente Sandbox‑Proxies, die KV‑Caches über GPU‑Cluster dynamisch verschieben, oder die Einbettung des Orchestrierungs‑Harnesses in den Container‑Sandbox, wie in DeepSeek v4.1 implementiert.

NVIDIA Nemotron 3.5 Super VL Runs 12B Active Parameters on Single GPUs

Source: developer.nvidia.com ↗

NVIDIA hat Nemotron 3.5 Super VL vorgestellt, ein offenes 120‑Milliarden‑Parameter‑MoE‑Modell, das 12 Milliarden Parameter pro Token aktiviert. Optimiert für mehrstufiges visuelles Reasoning, Dokumenten‑Parsing und Code‑Generierung, erzielte das Modell 26,5 im Artificial‑Analysis‑Intelligence‑Index und reduzierte die Ausgabe‑Token‑Anzahl gegenüber früheren Iterationen.

Die Architektur läuft auf einer einzelnen High‑Memory‑GPU und liefert bis zu fünfmal höheren Inferenz‑Durchsatz als vergleichbare dichte Alternativen. Neben Super VL brachte NVIDIA die kleinere Variante Nemotron 3.5 Bolt (74 B gesamt, 9 B aktiv) und veröffentlichte native NVFP4‑quantisierte Gewichte für beide Modelle, um die Bereitstellung via NVIDIA NeMo zu vereinfachen.

Anthropic Opens Internal Systems to Third-Party Auditors

Source: anthropic.com ↗

Anthropic hat independent safety evaluator METR internen, mitarbeiter‑grade Zugriff gewährt, um Modell‑Interna, Trainings‑Runs und Alignment‑Sicherungs‑Mechanismen zu prüfen. Gemeinsam mit SecureBio und Accenture entspricht die Initiative den Verpflichtungen des White‑House‑Accord on Super Intelligence.

Der Schritt ahmt die Prüfungs‑Modelle nach, die in der Aufsicht von Zentralbanken verwendet werden. Anstatt sich auf Black‑Box‑Externe‑API‑Tests zu verlassen, erhalten Dritt‑Parteien kontinuierliche White‑Box‑Audit‑Sicht, um nach Alignment‑Fälschungen, gefährlichen Fähigkeiten und autonomen Replikations‑Risiken vor dem Rollout zu suchen.

Production Tooling and Quick Links

Source: threadreaderapp.com ↗

• OpenAI rolled out GPT‑Live‑1.1 across ChatGPT, Codex, and dots, adding lower‑latency conversational voices for French, German, Hindi, Mexican Spanish, Korean, and Japanese with reduced hesitation pauses.
• Krea launched Krea 3, an image editing system that handles targeted modifications in under eight seconds at $0.06 per run, supporting composition across eight input image references.
• Black Forest Labs published FLUX 3 Image Klein, a 5.6‑billion‑parameter image generation and pixel‑level editing model that runs inside 8 GB of VRAM and ships in FP8, INT8, and NVFP4 formats.
• Perplexity open‑sourced SPACE, releasing the isolation sandbox and container runtime used to execute dynamic tool calls inside its Computer agent platform.
• Cheng Lou introduced Handwired, an experimental compiler that converts plain JavaScript logic into differentiable neural computational graphs that execute client‑side without GPUs or training steps.
• A retrospective from Every details how Codex evolved from an abandoned cloud platform into an autonomous editor agent, triggered by early competition from Anthropic’s Claude Code.