Anthropic-Forscher setzt die Wahrscheinlichkeit für KI-Auslöschung auf >10 % - und niemand hat einen Plan
8 min read · 11 sources
- Anthropics Evan Hubinger sagte, es bestehe eine Wahrscheinlichkeit von über 10 %, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, und dass es noch keinen Alignment-Plan für Superintelligenz gibt.
- OpenAI-Vorstandsmitglied Paul Christiano sagte, die Branche, einschließlich OpenAI, sei nicht auf Kurs, das Risiko eines katastrophalen Kontrollverlusts auf ein akzeptables Niveau zu senken.
- Oracles Cloud-Infrastruktur-Einnahmen wuchsen im ersten Quartal 2027 im Jahresvergleich um 121 %, während die Capex-Prognose gegenüber der Juni-Leitlinie unverändert blieb.
- Microsoft stellte einen KI-gestützten Konverter vor, der Salesforce- und ERP-Nutzer auf die eigenen Plattformen migrieren soll.
- Latham & Watkins kaufte Nvidia-GPU-Server und betreibt maßgeschneiderte Open-Weight-Modelle auf eigener Infrastruktur.
Anthropics Alignment-Leiter sagt, es bestehe eine Wahrscheinlichkeit von über 10 %, dass KI innerhalb eines Jahrzehnts alle Menschen tötet - und räumt ein, dass kein Plan existiert, das zu verhindern.
Anthropics Alignment-Leiter sagt, KI habe eine Chance von über 10 %, alle zu töten
Evan Hubinger, Anthropics Leiter der Alignment-Forschung, postete auf X, dass er persönlich glaube, es bestehe eine Wahrscheinlichkeit von über 10 %, dass KI innerhalb des nächsten Jahrzehnts „alle Menschen töten könnte". Er räumte außerdem ein, dass das Unternehmen „noch keinen Plan hat, um Alignment für Superintelligenz zu lösen" und „nicht klar auf Kurs" sei, einen zu entwickeln. Der Beitrag kam einen Tag, nachdem der Anthropic-Forscher Jacob Coxon wegen des Entwicklungstempos zurückgetreten war.
Das ist keine Randmeinung von einem beliebigen Twitter-Account. Hubinger ist die Person, deren Aufgabe es buchstäblich ist, sicherzustellen, dass Anthropics Modelle nichts Katastrophales anrichten. Wenn der Alignment-Leiter bei einem der drei Frontier-Labs sagt, die Chancen lägen im zweistelligen Bereich und der Plan existiere nicht, ist das eine Aussage über den Zustand der Branche, nicht über ein einzelnes Unternehmen. Für Ingenieure, die KI-Systeme in Produktion betreiben, ist die praktische Konsequenz düster: Die Leute, die die leistungsfähigsten Modelle bauen, sagen öffentlich, dass sie nicht wissen, wie sie sie sicher halten sollen.
OpenAI-Vorstandsmitglied: Branche nicht auf Kurs, Katastrophe zu verhindern
Paul Christiano, Mitglied des Non-Profit-Vorstands von OpenAI und Technologieberater der US-Regierung, sagte dem Guardian, „es besteht ein erhebliches Risiko, dass die rasche Beschleunigung der KI-Fähigkeiten in sehr naher Zukunft zu einem katastrophalen und irreversiblen Kontrollverlust führt." Er fügte hinzu, er glaube nicht, dass die KI-Branche im Allgemeinen, einschließlich OpenAI, „derzeit auf Kurs ist, dieses Risiko auf ein akzeptables Niveau zu senken."
Christiano ist kein beliebiger Kommentator. Er leitete zuvor das Alignment-Team bei OpenAI und hat tiefe Glaubwürdigkeit in genau dieser Frage. Wenn zwei hochrangige Personen bei zwei verschiedenen Frontier-Labs in derselben Woche dasselbe sagen, wird die Position „KI-Sicherheit ist ein gelöstes Problem" schwer zu verteidigen. Das interessante operative Detail ist, dass beide auf dieselbe Fehlerart zeigen: Die Fähigkeitszuwächse überholen die Fähigkeit, die Systeme zu steuern, und niemand hat einen Mechanismus demonstriert, um diese Lücke zu schließen.
Oracles Cloud-Infrastruktur-Einnahmen springen um 121 %
Oracle berichtete die Ergebnisse für das erste Quartal 2027 mit Cloud-Infrastruktur-Einnahmen, die im Jahresvergleich um 121 % stiegen. Das Unternehmen hielt seine Capex-Prognose unverändert, gegenüber der Leitlinie, die es im Juni ausgegeben hatte. Das bringt Oracle in eine bemerkenswerte Minderheit: Die meisten großen Cloud-Unternehmen haben ihre KI-Ausgabenprognosen im Wettlauf um den Bau von Rechenzentren erhöht, wobei Microsoft die andere bemerkenswerte Ausnahme ist, die ihre Prognose im Juli flach hielt und deren Aktie nach den Ergebnissen sprang.
Die Kombination „Capex flach halten, während die Einnahmen um 121 % wachsen" ist die Zahl, die zählt. Sie deutet darauf hin, dass Oracle mehr Auslastung aus der bestehenden Kapazität zieht, statt neues Geld in das Problem zu werfen. Für jeden, der den KI-Infrastrukturausbau beobachtet, ist das ein nützliches Gegenargument zur Erzählung, dass alle endlos in neue GPUs investieren müssen. Die Frage ist, ob Oracle diese Effizienz aufrechterhalten kann, während die Nachfrage weiter steigt, oder ob die flache Prognose nur ein Ein-Quartal-Artefakt ist.
Microsoft geht mit KI-gestütztem Konverter auf Salesforce- und ERP-Nutzer los
Microsoft startete einen KI-gestützten Konverter, der Salesforce- und ERP-Nutzer auf die eigenen Plattformen migrieren soll. Das Tool zielt auf die riesige installierte Basis von Legacy-CRM- und ERP-Bereitstellungen ab und nutzt KI, um die mühsame Arbeit der Datenzuordnung und Schema-Konvertierung zu übernehmen, die diese Migrationen historisch langsam und teuer gemacht hat. Es ist ein direkter Angriff auf das Kerngeschäft von Salesforce.
Der technische Winkel hier ist das Konvertierungsproblem selbst. CRM- und ERP-Migrationen sind brutal, weil die Datenmodelle pro Kunde tief individualisiert sind und die Geschäftslogik in Workflows und Triggern lebt, nicht nur in Tabellen. Wenn Microsofts KI-Konverter diese Komplexität tatsächlich im großen Maßstab bewältigen kann, beseitigt er den größten Reibungspunkt, der Unternehmen an Inkumbenten-Plattformen bindet. Wenn er nur die einfachen 80 % schafft, werden die restlichen 20 % weiterhin Budget und Zeitplan auffressen. Die Berichterstattung von The Register merkt an, dass das Tool klar auf das Abwerben von Nutzern abzielt, also ist damit zu rechnen, dass Salesforce bald mit einem eigenen Migrationsangebot reagiert.
Das „Links" in Shift-Left ist gewandert
Ein Essay von Resilient Cyber argumentiert, dass sich die Ökonomie der Schwachstellenfindung so dramatisch verändert hat, dass der traditionelle Shift-Left-Ansatz jetzt fehlausgerichtet ist. KI-Agenten decken Schwachstellen in ausgereiften Codebasen in einem Tempo auf, das das institutionelle Ökosystem aus Offenlegung, Triage und Patching nie aufnehmen konnte. Der Autor plädiert dafür, ganze Schwachstellenklassen zu eliminieren, statt Tickets einzeln abzuarbeiten, und die Überwachung durch Menschen in der Schleife zu überdenken, wenn Agenten Code sowohl schreiben als auch ausnutzen können.
Das ist die AppSec-Version des KI-Kapazitätsproblems: Die Entdeckungsseite ist mit Agenten skaliert, aber die Behebungsseite läuft immer noch auf menschlichen Review-Zyklen. Das Stück nennt ausdrücklich Entwickler-Endpoints mit breiten Berechtigungen, wo AppSec nur begrenzte Sichtbarkeit hat. Die praktische Empfehlung ist, die Angriffsfläche zu reduzieren, indem Schwachstellenklassen auf Framework-Ebene entfernt werden, statt schneller zu patchen. Für Teams, die Sicherheitsreviews noch von Hand machen, ist das eine Warnung, dass der Rückstau bald viel schlimmer wird.
Google fügt Workspace fünf agentische Fähigkeiten hinzu
Google rollt fünf neue agentische Gemini-Fähigkeiten in Workspace aus, die appübergreifende Aufgaben im Hintergrund erledigen. Nutzer können Gemini jetzt aus Gmail, Drive, Docs, Slides oder Chat auffordern, komplexe Multi-App-Workflows zu übernehmen. Die Funktionen umfassen das Erzeugen von Slides aus Chat-Inhalten und das Erstellen von Sheets aus Daten in Docs. Sie werden jetzt für die Stufen Business, Enterprise und Google AI Pro ausgerollt.
Der Wandel hier ist von „Chatbot, der Fragen beantwortet" zu „Agent, der die Arbeit erledigt". Für IT-Abteilungen ist die operative Frage die Berechtigungen: Wenn Gemini über Ihre Workspace-Umgebung agieren kann, was kann es mit den Anmeldedaten tun, die es hält, und wer prüft diese Aktionen? Der Blogbeitrag von Google ist dünn bei den Governance-Details, also ist damit zu rechnen, dass das Sicherheitsteam das Kleingedruckte liest, bevor das breit aktiviert wird.
Accenture und Google Cloud starten Gemini-Enterprise-Gruppe
Accenture und Google Cloud bildeten die Accenture Gemini Enterprise Business Group, die Gemini-Enterprise-zertifizierte Fachleute und gemeinsam entwickelte KI-Lösungen zusammenbringt. Die Gruppe wird eine 1.000-köpfige Truppe von Forward Deployed Engineers aufbauen, um Unternehmen beim Übergang von KI-Piloten zur Produktion zu helfen. Accenture nennt Ergebnisse wie 11 % höhere Kundenzufriedenheit und 37 % geringere Bearbeitungszeit für Kunden, die Gemini nutzen.
Die Zahl der 1.000 FDEs ist die Schlagzeile. Das ist ein ernsthaftes Engagement von Arbeitskräften für eine einzelne Partnerschaft, und es signalisiert, dass Google Cloud stark auf den dienstleistungsgeführten Weg zur KI-Einführung in Unternehmen setzt. Für Ingenieure ist die Erkenntnis, dass Google nicht nur Modelle verkauft; es verkauft die Implementierungsschicht. Das Risiko ist, dass ein Dienstleistungsarm mit 1.000 Personen eine Abhängigkeit von Accenture für alles Gemini-bezogene schafft, was Multi-Cloud-Strategien verkomplizieren könnte.
Big Law beginnt, eigene KI-Infrastruktur aufzubauen
Latham & Watkins hat Nvidia-GPU-Server gekauft und betreibt maßgeschneiderte Open-Weight-Modelle auf Infrastruktur, die es selbst kontrolliert. Die Kanzlei nutzt das Setup, um sensible Kundendaten, Kosten und Modellwahl unter eigener Kontrolle zu halten, statt sich auf öffentliche Cloud-KI-APIs zu verlassen. Das ist eine der ersten großen Kanzleien, die den Weg des privaten KI-Stacks geht.
Das technische Detail, das das glaubwürdig macht, ist die Migrationsarbeit: Latham hat Berichten zufolge im Rahmen der Bemühungen einen Legacy-Fortran-77-Reservoir-Simulator-Code zu C++ konvertiert, mit einem numerischen Paritäts-Harness zur Verifikation der Korrektheit und über hundert Agenten zur Dokumentation der Codebasis. Strukturierte Workflows mit menschlichen Review-Gates schlagen volle Autonomie, und der erste Sprint deckte die Kernfunktionalität eines Systems mit 300.000 Zeilen ab. Das ist ein realer Datenpunkt für alle, die darüber streiten, ob Agenten Legacy-Modernisierung bewältigen können: Sie können es, aber nur mit menschlichen Kontrollpunkten.
Mistrals Playbook zur Modernisierung von Legacy-Code
Mistral veröffentlichte einen detaillierten Bericht über die Migration eines Legacy-Fortran-77-Systems zu modernem C++ und behandelte die gewonnenen Erkenntnisse. Die wichtigsten Erkenntnisse: Priorisieren Sie numerische Übereinstimmung zwischen altem und neuem Code, dokumentieren Sie die Codebasis vor Beginn der Migration und balancieren Sie Agentenautonomie mit menschlicher Überprüfung aus. Der Beitrag merkt auch an, dass das Festhalten an Sprachen ohne aktives Entwickler-Ökosystem bedeutet, auf den Aufbau auf der Arbeit anderer zu verzichten.
Das ist ein nützliches Gegengewicht zur „lass die KI es einfach neu schreiben"-Fraktion. Mistrals Team baute zuerst einen Paritäts-Harness, was der langweilige, aber wesentliche Schritt ist, der die Migration verifizierbar macht. Die Erkenntnis, dass strukturierte Workflows mit menschlichen Review-Gates volle Autonomie schlagen, deckt sich mit dem, was Latham & Watkins berichtete. Wenn Sie eine Legacy-Migration mit KI-Agenten planen, ist das das Playbook, von dem Sie abschreiben sollten.
Keycloak vs. Ory: zwei verschiedene Wetten auf Identität
Ein Vergleich von Cerbos zwischen Keycloak und Ory argumentiert, dass die beiden nicht dasselbe sind, obwohl sie auf jeder Self-Hosted-Identitäts-Shortlist auftauchen. Keycloak ist ein einzelner Java-Server, der alles macht, läuft jetzt auf Quarkus und ist ein CNCF-Projekt. Ory ist eine Reihe separater Dienste, die Sie in die benötigte Form zusammenbauen. Beide sind Apache 2.0 und beide vermeiden Pro-Sitz-Lizenzierung, aber die Wahl kommt darauf an, wie viel von Ihrem Identitäts-Stack Sie besitzen wollen.
Der Vergleich verbringt seine zweite Hälfte mit der Autorisierungslücke, die die meisten Berichte überspringen. Keycloak bündelt Autorisierung in den Server; Ory überlässt es Ihnen, sie zusammenzubauen. Für Teams, die eine enge Kopplung zwischen AuthN und AuthZ wollen, ist Keycloak einfacher. Für Teams, die modulare, Headless-Dienste wollen und bereit sind, die Integrationsarbeit zu übernehmen, gibt Ory mehr Kontrolle. Die Antwort hängt davon ab, ob Sie ein Produkt oder ein Toolkit wollen.
Nvidia und Palantir bringen Sovereign AI in Lieferketten
Nvidia und Palantir kündigten eine Zusammenarbeit an, um Sovereign AI in kritische Lieferketten zu bringen, beginnend mit Nvidias eigenen Abläufen. Der Stack kombiniert Palantirs Foundry und AIP mit Nvidias Nemotron-Open-Models, verankert in der Palantir-Ontology. Er läuft auf Cloud- oder On-Premises-Infrastruktur, und Nvidia setzt ihn zuerst ein, um operative Intelligenz zu kodifizieren und den Weg vom Wafer zum ersten Token zu beschleunigen.
Das Detail „beginnend mit Nvidias eigener Lieferkette" ist das, was dem Ganzen Glaubwürdigkeit verleiht. Nvidia isst sein eigenes Hundefutter in der komplexesten Lieferkette der Halbleiterindustrie. Der Sovereign-Aspekt ist wichtig für Verteidigungs- und kritische Infrastrukturkunden, die keine Daten an öffentliche Clouds senden können. Die Open-Model-Wahl (Nemotron) ist bemerkenswert, weil sie die Modellgewichte unter Kundekontrolle hält, was der ganze Punkt von Sovereign AI ist.
Schnelllinks
Das könnte Sie auch interessieren
Nvidia verdoppelt sich auf 96 Mrd. Dollar, während das Angebot weiterhin nicht ausreicht
Nvidia erzielte im Quartal einen Umsatz von 96,2 Mrd. Dollar, mehr als eine Verdopplung gegenüber dem Vorjahr, und gab einen Ausblick von 108 Mrd. Dollar für …
Nvidias Groq 3 LPX geht in Produktion, OpenAI holt bei Anthropic Marktanteile zurück
Nvidias Inferenz-Beschleuniger Groq 3 LPX erreichte auf der Hot Chips die volle Produktion, Nebius ist als Erstkunde an Bord. Ramp-Daten aus über 70.000 …
Oracle Faces EU Licensing Scrutiny as Meta's Muse Agent Takes Action
Oracle may be the next target in the EU's software licensing investigation following the SAP case, with regulators reportedly seeking details on its practices. …




