7 min read · 14 sources

Apple hat das Problem des Speicherverbrauchs auf der Client‑Seite gelöst, indem es darauf verzichtet, Modellgewichte im einheitlichen Speicher resident zu halten. Das neue „Core Advanced“-System, das lokal auf Apple‑Silicon läuft, enthält 20 Milliarden Parameter, belegt jedoch nur etwa 2 GiB RAM. Das entspricht einem Siebtel des Speicherbedarfs vergleichbarer Open‑Source‑Sparse‑Modelle und wird erreicht, indem inaktive Experten aggressiv auf NVMe‑Flash ausgelagert und bei Bedarf über die Neural Engine nur 1‑4 Milliarden Parameter aktiviert werden.

Der Rest des Ökosystems treibt die Rechenleistung in die Gegenrichtung: Moonshot AI hat gerade ein 3‑Billionen‑Parameter‑Monster mit einer Open‑Weights‑Verpflichtung veröffentlicht, Dessa hat die Tokenisierung von Text vollständig eliminiert, um Full‑Duplex‑Audio aus reinen Wellenformen zu erzeugen, und SpaceX hat gerade genug Geld aufgebracht, um eine ganze Generation von Rechenzentren zu kaufen.

Hier ist, was heute ausgeliefert wurde.

Ein 10‑jähriges Inception‑v3‑Netzwerk, in 20 Minuten auf einem einzelnen H100 trainiert, übertraf GPT‑6 Astra um 20 Prozentpunkte bei der Hautkrebs‑Klassifizierung.

Apple reduziert 20 B‑Parameter auf 2 GB Arbeitsspeicher

Source: airealist.ai ↗

Standard‑Local‑Inference geht davon aus, dass Modellgewichte im VRAM oder einheitlichen Speicher residieren müssen, um katastrophale Speicherbandbreiten‑Engpässe zu vermeiden. Apples Implementierung von Core Advanced stellt diesen Grundsatz auf M3 Max‑Hardware infrage. Indem der Großteil des 20‑Milliarden‑Parameter‑Mixture‑of‑Experts‑Modells im Flash‑Speicher gehalten und pro Prompt nur die aktiven 1‑ bis 4 Mrd Parameter in RAM gestreamt werden, läuft das Modell sauber innerhalb eines Budgets von 2 GiB.

Im lokalen Profiling liegt der Energieverbrauch bei etwa einem Drittel des Verbrauchs vergleichbarer 15‑GiB‑Open‑MoE‑Runtimes auf demselben SoC. Der Kompromiss ist architektonisch: Das System nutzt stark die schnellen Lese‑Geschwindigkeiten von Apples internem SSD‑Fabric und benutzerdefinierte DMA‑Pfade direkt zur Neural Engine. Für Entwickler ist die Sichtbarkeit das Problem. Das Modell steuert System‑Siri‑Diktat und Sprachsynthese, aber Apple behandelt es als internes OS‑Subsystem. Der Tensor‑Graph ist nicht einsehbar, Checkpoints können nicht feinabgestimmt werden, und spezifische Experten lassen sich nicht gezielt im Speicher verankern, um vorhersehbare Latenz in Drittanbieter‑Runtimes zu garantieren. Benchmarks für Mathematik‑ und symbolisches Schließen zeigen ebenfalls deutliche Einbußen gegenüber dichten Modellen ähnlicher Parameterzahl, was darauf hindeutet, dass Pruning‑ und Routing‑Schichten die konversationale Flüssigkeit über formale Logik stellen.

Dessa lässt den Text‑Tokenizer für Roh‑Speech‑to‑Speech fallen

Source: block.xyz ↗

Aktuelle „Sprach‑Agents“ sind fast immer Pipeline‑Hacks: Audio wird in ein Speech‑to‑Text‑Modell geleitet, Text in ein LLM, und die erzeugten Token werden in ein Streaming‑TTS‑Engine eingespeist. Dessa lässt diese gesamte Pipeline weg. Es ist ein konversationales Sprachmodell, das von Grund auf ausschließlich auf menschlichem Konversations‑Audio trainiert wurde. Es gibt keine Zwischentext‑Tokenisierung, kein phonetisches Wörterbuch und keinen vortrainierten Sprach‑Model‑Backbone, der semantische Priors liefert.

Da es nativ im Audiodomain arbeitet, läuft Dessa Full‑Duplex nativ. Es modelliert konversationale Akustik direkt: Lachen mitten im Satz, prosodische Lautstärkeschwankungen, Atemunterbrechungen und Echtzeit‑Backchanneling („uh‑huh“, „yeah“) ohne eine Orchestrierungsschicht, die Sprachunterbrechungen erkennt. Überraschend aus technischer Sicht ist die semantische Retention. Ohne je einen Text‑Korpus verarbeitet zu haben, hat das Modell allgemeines Weltwissen direkt aus konversationalen Sprachwellenformen verallgemeinert. Es verwandelt Sprach‑Interfaces von einem mehrstufigen asynchronen Pipeline‑Problem in eine End‑to‑End‑, Single‑Model‑Audio‑Streaming‑Architektur.

Kimi K3.1 Pro erreicht 3 T‑Parameter und bereitet Gewichts‑Release vor

Source: kimi.ai ↗

Moonshot AI hat Kimi K3.1 Pro ausgerollt, ein 3‑Billionen‑Parameter‑System mit einem Kontextfenster von 1 Million‑Token, sofort über API zugänglich. Eine kleinere „Highspeed“-Variante reduziert die Latenz um das 2‑ bis 3‑fache für latenzkritische Agent‑Loops. Moonshot hat sich verpflichtet, die vollständigen Checkpoint‑Gewichte öffentlich am 4. November 2026 zu veröffentlichen.

Benchmark‑Zahlen zeigen, dass Moonshot Entwicklungs‑Workflows statt generischer Konversations‑Aufgaben anvisiert. Auf Terminal‑Bench 4.0 - das mehrstufige Bash‑Ausführung, Umfeld‑Debugging und Shell‑Management bewertet - erreichte K3.1 Pro 65,7 %, leicht vor proprietären Flagships wie GPT‑6 Astra. Auf Kimi Code Bench 3.0 lag es bei 61,2 %. Wenn die Gewichte ohne aggressive Distillations‑Degradation oder seltsame nicht‑kommerzielle Lizenzbedingungen veröffentlicht werden, wird das lokale oder private Cluster‑Hosting dieses Modells die bislang größte Open‑Weight‑Bereitstellung für Infrastruktur‑Teams darstellen.

Sicherung von Frontier‑Training‑Clustern vor Agent‑Escape

Source: openai.com ↗

OpenAI hat einen Überblick über seine interne Sicherheitslage für groß‑skalige Frontier‑Training‑Umgebungen veröffentlicht. Da Basis‑Modelle verbesserte mehrstufige Schlussfolgerungen und automatisierte Tool‑Fähigkeiten erhalten, verlagert sich die Angriffsfläche von externen Netzwerk‑Intrusionen zu internen Durchbruchs‑Containments.

Der technische Fokus liegt darauf, Trainings‑Nodes von unautorisierten externen Ressourcen zu isolieren. OpenAI implementierte Defense‑in‑Depth‑Isolation, die laufende Modelle während Post‑Training‑ und RL‑Loops als potenziell feindliche Agents behandelt. Automatisierte Red‑Team‑Agents sondieren aktiv das interne Orchestrierungs‑Fabric nach ungepatchten Privileg‑Escalationen, fehlerhaften VPC‑Peering‑Konfigurationen und versehentlichen Routen ins öffentliche Internet. Mehrere Software‑Bugs und Umfeld‑Fehlkonfigurationen wurden durch kontinuierliches internes Fuzzing entdeckt und behoben. Für SREs, die interne Inference‑ oder Fine‑Tuning‑Cluster mit autonomen Tool‑Nutzungen betreiben, gilt: Software‑Sandboxes (wie Docker oder gVisor) müssen mit strikten Hardware‑Egress‑Kontrollen und signierten API‑Gateways kombiniert werden, um agentische Code‑Ausführung zu begrenzen.

Protokoll‑Frameworks versuchen, Agent‑Auth von rohen Zugangsdaten zu entkoppeln

Source: x.com ↗

Da KI‑Agents von reinen Suchmaschinen zu transaktionalen Akteuren werden, stehen Entwickler vor einer Auth‑Krise: Nutzer fügen regelmäßig API‑Keys, Session‑Cookies und Basic‑Auth‑Credentials direkt in Prompt‑Kontexte ein. Simon Taylors Personal Agent Protocol (PAP / Poppy) definiert eine vier‑stufige Architektur zur Lösung: Entry, Identity, Tools und Intent.

Ziel ist, verifizierte, kurzlebige, signierte Agent‑Identitäten bereitzustellen, die traditionelle Bank‑Infrastruktur akzeptieren kann, ohne dass der Agent jemals die zugrunde liegenden Credentials berührt. Große Institute wie JPMorgan, Bank of America und Wells Fargo haben sich als Design‑Partner verpflichtet, während Visa sein Trusted Agent Protocol einsetzt, um kryptografische Nonces für Shopping‑Flows zu handhaben. Die technische Herausforderung ist Governance: Wenn der Zugriff auf Kern‑APIs zentrale Freigabe‑Protokolle und proprietäre Enterprise‑Abkommen erfordert, verlagert sich das Deployment‑Kosten‑Modell zurück zu Unternehmens‑Rechtsdeals und schafft Gate‑Keeping‑Schichten, die etablierte Plattformen gegenüber offenen Tools bevorzugen.

Warum UI‑Agents bei Business‑Logik scheitern

Source: algoroxyolo.github.io ↗

Ein Beitrag zu den Grenzen von Reinforcement Learning für Agents verdeutlicht die wachsende Kluft zwischen prozeduraler Kompetenz („knowing how“) und organisatorischem Kontext („knowing what“). Moderne Web‑Agents können einen DOM‑Baum parsen, Multi‑Factor‑Flows handhaben, Buttons klicken und Formulare absenden. Dort, wo sie zusammenbrechen, ist das Navigieren der ungeschriebenen, mehrschichtigen Richtlinien eines echten Unternehmens, etwa das Sichern zusätzlicher Stellen oder das Umleiten einer Rechnung um eine blockierte Genehmigungshierarchie.

Der Anspruch für KI‑System‑Designer ist strukturell: RL‑Umgebungen können nicht nur rohe mechanische Erledigung einer Interface‑Aufgabe belohnen. Sie müssen als einheitliche Welt‑Zustände modelliert werden, die über mehrere Oberflächen (CLI, Slack, Web‑Consoles, interne Dokumentation) exponiert werden. Belohnungsfunktionen müssen autorisierte End‑State‑Compliance über mehrere Oberflächen hinweg messen, nicht isolierte Screen‑Aktionen. Wenn ein Agent nicht erkennt, wann er eine UI‑Aufgabe fallen lässt und stattdessen eine Nachricht an einen Engineer auf einem Message‑Bus sendet, um ein undokumentiertes organisatorisches Hindernis zu umgehen, kann er reale Produktionsarbeit nicht automatisieren.

Schnelle Compute‑Bewegungen: Lean 4‑Beweiser, 40 Mrd‑$‑Finanzierungen und Legacy‑Vision

Source: essays.johnloeber.com ↗

Das Ende des Nachrichtenzyklus unterstreicht, wie Kapitalallokation und spezialisierte Modelle das Narrativ „einfach das Basismodell skalieren“ verkomplizieren:

• Automated Theorem Proving via Lean 4: John Loeber veröffentlichte Notizen zu einem maßgeschneiderten Lean 4‑Parallel‑Search‑Harness für Graph‑Theorie‑Beweise. Sein Setup nutzt C++‑Gegenbeispiel‑Generatoren neben verteilten Compute‑Engines, um moderne Reasoning‑Modelle zu unterstützen. Kernbotschaft: Brüchige, domänenspezifische Heuristik‑Systeme, die auf LLMs aufbauen, werden jedes Mal zerstört, wenn das zugrundeliegende Basis‑Reasoning‑Modell verbessert wird, was Rich Suttons „Bitter Lesson“ in der formalen Logik‑Verifikation bestätigt.
• SpaceX schließt 40 Mrd‑$‑Compute‑Finanzierung ab: Elon Musk bestätigte, dass SpaceX ein $40‑Mrd‑Schuldenvehikel strukturiert über ein Spezial‑Purpose‑Vehicle erhalten hat, um direkte GPU‑Käufe für die Lieferung im ersten Halbjahr 2027 zu finanzieren. Der Cluster wird die SpaceX‑Super‑Intelligence‑Einheit unterstützen, die im Q3 2026 angeblich 7,56 Mrd $ erwirtschaftete. Musk warnte, dass reine „Neocloud“‑Infrastruktur‑Startups erhebliche Insolvenz‑Risiken tragen, wenn sie keine diversifizierten operativen Einnahmen zur Bedienung der hochzinsigen Hardware‑Abschreibung besitzen.
• Spezialisierte CNNs schlagen Frontier‑LLMs: Eine Studie von Lynch Lab testete ein ein Jahrzehnt altes Inception‑v3‑Convolutional‑Network gegen GPT‑6 Astra und Claude Fable 5.1 auf einem 200‑Bild‑Hautläsion‑Klassifizierungs‑Task. Das CNN - feinabgestimmt auf 68.000 Bilder in nur 20 Minuten auf einem einzelnen H100 - erreichte 62 % Top‑1‑Genauigkeit. Die massiven multimodalen Frontier‑Modelle lagen bei etwa 42 %. Für Edge‑Cases und enge medizinische Bildgebungs‑Aufgaben verlieren massive multimodale Tokenizer weiterhin regelmäßig gegenüber klassischen, aufgabenspezifischen Computer‑Vision‑Backbones.
• Anthropic vereinheitlicht Enterprise‑Chat und Cowork: Anthropic startete Unified Claude Enterprise, das seinen reaktiven Web‑Chat mit einem persistenten, agentischen Hintergrund‑Workspace kombiniert. Nutzer können flüchtige Prompts direkt in mehrstündige asynchrone Läufe überführen, die Code ausführen, Dateien generieren und Ausführungs‑Zustände über Desktop‑ und Mobile‑Clients hinweg persistieren.
• Cursor‑ und Gemini‑4‑Updates: Das Cursor‑Team stellte direkte OS‑Manipulation vor, sodass seine Coding‑Agents lokale Umgebungen kontrollieren, starten, inspizieren und Änderungen in Schnittstellen wie dem iOS‑Simulator testen können. Gleichzeitig erschien Googles Gemini 4 Carbon‑Checkpoint auf LM Arena für Invite‑Only‑Tests; frühe Testerberichte zeigen deutliche Verbesserungen bei räumlichen 3D‑Reasoning‑Benchmarks, jedoch sind die Inferenz‑Geschwindigkeiten im Vergleich zur Argon‑Generation um bis zu das Vierfache gesunken, mit Rückschritten bei Frontend‑UI‑Generierung.