Anthropic und METR: Wer prüft hier eigentlich wen?
Vorsprung mit KI

In dieser Ausgabe

Unabhängige AI-Aufsicht – oder ein Netzwerk unter einem Dach?

Guten Morgen KI Freunde, Dario Amodei schlägt Organisationen wie METR als unabhängige Prüfer der führenden AI-Labs vor. Doch hinter Anthropic, OpenAI, METR und ihren Geldgebern tauchen immer wieder dieselben beruflichen und privaten Verbindungen auf.

Heute schauen wir deshalb nicht nur auf die neuen Sicherheitspläne, sondern auf das Netzwerk dahinter. Außerdem: Microsoft akzeptiert bindende Regeln für Schülerdaten und Salesforce baut mit NVIDIA ein eigenes CRM Reasoning Model.

Top News
OpenAI-Manager Chris Lehane bei einer Veranstaltung
Bildquelle: E. Slomonson / The Photo Group for TechCrunch / Getty Images

OpenAI, Anthropic und Google arbeiten seit Wochen gemeinsam an AI-Sicherheit

Kurz gesagt

OpenAI bestätigt, dass das Unternehmen schon seit mehreren Wochen mit Anthropic und Google DeepMind über gemeinsame Sicherheitsmaßnahmen spricht. Die öffentliche Einigkeit nach Dario Amodeis Essay war damit nicht der Beginn, sondern das sichtbare Ergebnis längerer Gespräche.

Details

  • OpenAIs Politikchef Chris Lehane erklärte, Sicherheit lasse sich besser gemeinsam priorisieren. Eine spezielle Ausnahme vom Kartellrecht hält OpenAI dafür derzeit nicht für nötig.
  • Im Raum stehen eingebettete externe Evaluatoren und ein gemeinsames Standardisierungsgremium für Frontier Models.
  • Noch gibt es keine fertige Institution, keine veröffentlichten Prüfkriterien und keinen verbindlichen Mechanismus für gemeinsame Pausen.

Warum das wichtig ist

Kooperation kann unabhängige Prüfungen schneller etablieren. Gleichzeitig entsteht ein Wettbewerbsproblem, wenn genau die größten Anbieter gemeinsam festlegen, welche technischen und finanziellen Hürden andere Unternehmen erfüllen müssen.

Was du mitnehmen solltest

Achte weniger auf gemeinsame Erklärungen und mehr auf die konkrete Governance: Wer wählt die Prüfer, welche Ergebnisse werden veröffentlicht und gelten dieselben Regeln auch für kleinere und offene Models?

Lehrkräfte arbeiten während einer Fortbildung mit AI auf ihren Laptops
Bildquelle: AP Photo / Mic Smith

Microsoft akzeptiert bindende AI-Regeln für Schülerdaten

Kurz gesagt

Microsoft und die US-Lehrergewerkschaft AFT haben einen rechtlich bindenden Datenschutz- und Sicherheitsstandard für AI in Schulen vereinbart. Die Regeln gelten ab 1. November für alle US-Schulbezirke mit Microsoft-Verträgen.

Details

  • Schüler- und Lehrerdaten dürfen grundsätzlich weder für Model-Training noch für Werbung, Verkauf oder Produktentwicklung verwendet werden.
  • AI-Funktionen, die emotionale Abhängigkeit fördern oder Kinder länger als für eine Lernaufgabe nötig binden sollen, sind untersagt.
  • Dritte prüfen die Einhaltung. OpenAI und Anthropic verhandeln ebenfalls mit der AFT; Google hat sich bislang nicht angeschlossen.

Warum das wichtig ist

Ein privater Vertrag schafft erstmals einen überprüfbaren Mindeststandard, wo Bundesgesetze fehlen. Gleichzeitig bleibt die Wirkung begrenzt, solange andere große Plattformen und tausende kleinere EdTech-Anbieter nicht mitziehen.

Was du mitnehmen solltest

Bei AI im Unternehmen oder in der Schule reicht eine Datenschutzerklärung nicht. Verbindliche Zweckgrenzen, unabhängige Audits und klare Verbote sind deutlich belastbarer als freiwillige Produktversprechen.

Jensen Huang und Marc Benioff auf der Dreamforce-Bühne
Bildquelle: NVIDIA

Salesforce baut mit NVIDIA sein erstes eigenes CRM Reasoning Model

Kurz gesagt

Koa ist Salesforces erstes Reasoning Model für CRM. Es basiert auf NVIDIA Nemotron 3 Super, wurde mit synthetischen Daten aus 27 Jahren CRM-Erfahrung nachtrainiert und läuft vollständig auf Salesforces eigener Infrastruktur.

Details

  • Salesforce kontrolliert die Model Weights und betreibt das System in der eigenen Umgebung.
  • Nach Angaben der Unternehmen wurden weder beim Training noch bei der Inferenz Kundendaten verwendet.
  • Salesforce meldet inzwischen sieben Milliarden verarbeitete „Agentic Work Units“ über Agentforce und Slack, davon 3,2 Milliarden allein im zweiten Quartal.

Warum das wichtig ist

Koa zeigt eine Alternative zum direkten Frontier-Wettlauf: ein offenes Basismodell wird mit spezialisiertem Prozesswissen zu einem vertikalen System. Der Vorsprung liegt dann weniger im allgemeinen Model und stärker in Datenmodell, Regeln und Distribution.

Was du mitnehmen solltest

Unternehmen müssen nicht zwingend das größte Model einkaufen. Ein kleineres, kontrolliertes Model mit sauberem Fachkontext kann für einen klar abgegrenzten Prozess wirtschaftlich und sicherheitstechnisch sinnvoller sein.

Tool-Radar

Anysite.io

Erstellt und ergänzt B2B-Listen per Chat. Der Agent liefert Unternehmen, Ansprechpartner, Rollen und Kontaktdaten über MCP oder REST direkt an Claude, Codex und andere Tools.

Mastra Factory

Open-Source-Umgebung für Softwareentwicklung mit persistenten Coding Agents: vom Issue über Planung und Umsetzung bis zum Pull-Request-Review.

Harden

Lokale Sicherheitsschicht für Coding Agents. Ein spezialisiertes Model prüft geplante Tool-Aufrufe vor der Ausführung, ohne Repository oder Tool-Ausgaben an einen externen Dienst zu senden.

Was auffällt

Agents verschwinden in den Oberflächen, die Teams bereits nutzen

AWS und Salesforce verbinden CRM-Kontext mit Amazon Quick, bringen AWS Agents in Slack und lassen Voice Agents über A2A in Echtzeit miteinander sprechen. Distribution und vorhandener Arbeitskontext werden damit wichtiger als eine weitere separate Chat-Oberfläche.

Vorgebaute Job Agents ersetzen den leeren Agent Builder

Salesforce liefert Agents für Support, HR, Shopping, Vertrieb und Supply Chain bereits mit passenden Skills, Aktionen und Datenmodellen aus. Der Markt bewegt sich von „Baue irgendeinen Agent“ zu klar umrissenen Rollen mit Regeln, Zuständigkeit und messbarem Ergebnis.

GitHub Repo der Woche

bilawalsidhu/gods-eye-view

Warum beliebt

Das Projekt kombiniert öffentliche Daten zu Flugzeugen, Schiffen, Satelliten, Erdbeben, Verkehr und Kameras auf einem fotorealistischen 3D-Globus. Es sieht wie ein Geheimdienst-Dashboard aus, läuft aber lokal und ist vollständig einsehbar.

Beispiel

Ohne API Keys lassen sich Live-Flüge, Satelliten und Erdbeben erkunden. Mit einem OpenAI Key kann der Nutzer den Globus per Sprache steuern und Fragen zur aktuell sichtbaren Szene stellen.

Lerneffekt

Der eigentliche Wert entsteht nicht durch einen einzelnen Datensatz, sondern durch das Zusammenspiel vieler öffentlicher Quellen. Gleichzeitig kennzeichnet das Projekt simulierte oder geschätzte Daten offen – ein gutes Muster für nachvollziehbare AI-Produkte.

KI-Notizen

Das Netzwerk hinter der neuen AI-Aufsicht

Die aktuelle Debatte dreht sich offiziell um gefährliche Models. Mindestens genauso interessant sind jedoch die Lebensläufe, Beziehungen und Geldflüsse der Menschen, die künftig über diese Gefahr urteilen sollen.

Dario Amodei schlägt vor, externe Evaluatoren dauerhaft in die führenden AI-Labs einzubetten. Diese Teams sollen mitarbeiterähnlichen Zugang erhalten, interne Prozesse überprüfen und Vorfälle öffentlich melden. Als mögliches Beispiel nennt er METR.

METR-Gründerin Beth Barnes arbeitete zuvor bei DeepMind und OpenAI. Anschließend leitete sie ARC Evals, das Evaluationsteam des Alignment Research Center. ARC wurde von Paul Christiano gegründet, der zuvor bei OpenAI das Alignment-Team leitete und gemeinsam mit Dario Amodei zu AI Safety forschte. Inzwischen sitzt Christiano als Beobachter im Board der OpenAI Foundation und gehört deren Safety and Security Committee an.

Auch privat überschneiden sich die Kreise. Christiano ist mit Ajeya Cotra verheiratet, die heute bei METR arbeitet und zuvor das technische AI-Safety-Programm von Coefficient Giving leitete. Daniela Amodei, Anthropics Präsidentin und Darios Schwester, ist wiederum mit Holden Karnofsky verheiratet. Karnofsky gründete unter anderem Open Philanthropy, heute Coefficient Giving, und arbeitet inzwischen selbst bei Anthropic.

Das sind keine geheimen Verbindungen. Sie beweisen weder Korruption noch eine koordinierte Verschwörung. Aber sie zeigen, wie klein der Kreis ist, aus dem Unternehmen, Forscher, Geldgeber und mögliche Aufseher stammen.

METR erklärt, kein Geld von Frontier-AI-Unternehmen oder deren Mitarbeitern anzunehmen. Gleichzeitig erhält die Organisation kostenlose Model-Tokens von den Unternehmen, deren Systeme sie untersucht. METR räumte außerdem selbst ein, dass bei einer Untersuchung mindestens sechs beteiligte Personen enge persönliche Beziehungen zu Mitarbeitern der geprüften AI-Labs hatten. Ein vollständiger Prozess für personelle Interessenkonflikte existierte zu diesem Zeitpunkt noch nicht.

Auch die derzeit kursierende Behauptung, METR werde direkt aus Anthropics Vermögen finanziert, ist nicht belegt. Die viel geteilte Finanzgrafik zeigt ein dichtes Netzwerk aus Stiftungen, Investoren und Safety-Organisationen. Ihre eigene Dokumentation hält allerdings fest, dass kein direkter Geldfluss von Good Ventures oder Coefficient Giving zu METR gefunden wurde. Die Netzwerknähe ist real. Die behauptete finanzielle Steuerung ist es bislang nicht.

Hinzu kommt die politische Ebene. Anthropic hat 2026 insgesamt 40 Millionen Dollar an Public First Action gegeben. Kurz darauf startete die Organisation ein 15-Millionen-Dollar-Projekt, das republikanische Politiker unterstützt, die strengere AI-Regeln befürworten. Anthropic betont, dass seine Spenden ausschließlich für Aufklärung und politische Bildungsarbeit bestimmt seien und nicht direkt zur Unterstützung von Kandidaten verwendet werden dürften.

Damit kann aus einer vernünftigen Sicherheitsanforderung unbeabsichtigt eine Markteintrittsbarriere werden. Noch problematischer wäre es, wenn die größten Anbieter selbst mitbestimmen, wer sie prüft, nach welchen Kriterien geprüft wird und welche Unternehmen überhaupt als verantwortungsvolle Frontier Labs gelten.

Mein Unbehagen entsteht deshalb nicht aus einem einzelnen Geldfluss. Es entsteht aus der Kombination: Menschen aus demselben beruflichen Umfeld definieren die Risiken, entwickeln die Prüfmethoden, führen die Prüfungen durch, finanzieren politische Aufklärung und übernehmen anschließend Positionen in Unternehmen, Stiftungen oder Kontrollgremien.

Alle Beteiligten können dabei vollkommen ehrlich handeln. Trotzdem kann ein geschlossenes System entstehen, in dem sich dieselben Annahmen immer wieder gegenseitig bestätigen.

METR kann fachlich hervorragende Arbeit leisten. Anthropic kann berechtigte Sicherheitsbedenken haben. Beides beantwortet aber noch nicht die Frage, ob dieses konkrete Konstrukt genug Abstand zwischen Unternehmen, Prüfern, Geldgebern und Politik schafft.

Unabhängigkeit ist kein Label, das man sich selbst gibt. Sie entsteht erst durch nachvollziehbare Strukturen.

Zur Einordnung: Amodeis Vorschlag, METRs Finanzierung, METRs Angaben zu Interessenkonflikten, Paul Christianos OpenAI-Rolle und Anthropics Zahlung an Public First Action.

Du hast ein Tool entdeckt oder etwas mit AI umgesetzt?

Antworte einfach auf diese E-Mail. Schick mir Fragen, Tool-Funde, Erfolge aus deiner Arbeit oder Themen, die wir gemeinsam betrachten sollten.