Geoffrey Hinton fordert, dass Modelle der künstlichen Intelligenz bewertet werden, bevor sie unter den Augen einer unabhängigen Behörde zur Verfügung gestellt werden. Wiederholt in der libanesischen Presse vom 10. November, wirft seine Rede eine konkrete Frage auf: Wer entscheidet, dass ein Modell verbreitet werden kann, auf welchen Beweisen und mit welcher Überwachung dann? KI-Kontrollen existieren bereits in verschiedenen Formen, ohne das internationale System zu bilden, das sie fordern.
Der Forscher drückt diese Position in einem Interview mit der britischen Presse aus, das am 3. November veröffentlicht wurde. Er kritisiert den Handelswettlauf zwischen großen Technologieunternehmen und Ängste vor kritischen Infrastrukturvorfällen. Dennoch bleibt die Hoffnung auf erhebliche Vorteile bestehen. Seine Rede befürwortet eher einen Rahmen für die Entwicklung als einen allgemeinen Verzicht auf Technologie.
In dem im Libanon veröffentlichten Bericht schlägt Hinton eine internationale Behörde vor, die von der Drogenkontrolle inspiriert ist. Unternehmen sollten Nachweise erbringen, um die erwarteten Vorteile und möglichen Schäden vor dem Marketing zu vergleichen. Dies ist ein Vorschlag des Forschers, nicht die Ankündigung einer bereits geschaffenen Institution.
KI-Kontrollen: Was sollte vor dem Zugriff getestet werden?
Eine erfolgreiche Demonstration dessen, was ein Modell in einer bestimmten Situation erreichen kann. Eine Sicherheitsbewertung sucht auch seine Ausfälle, Missbrauch und die Bedingungen, unter denen seine Schutzmechanismen nicht mehr funktionieren. Diese Ziele erfordern unterschiedliche Tests.
Das Risikomanagement-Framework des U.S. National Institute of Standards and Technology, AI RMF 1.0, umfasst Tests vor dem Einsatz und den regelmäßigen Einsatz. Es organisiert die Arbeit rund um Governance, Risikoerkennung, Messung und Management. Dieser Rahmen ist ein Managementinstrument, keine internationale Zulassung.
Seine Logik erfordert eine Klärung des Kontextes. Ein Fehler in einem Textentwurf und eine fehlerhafte Handlung in einem Betriebssystem haben nicht die gleichen Folgen. Die Frage geht daher über die Punktzahl hinaus, die ein Modell für eine Übung erhält: Sie konzentriert sich auch auf die exponierten Personen, die verfügbaren Werkzeuge und die Entscheidungen, die das System treffen kann.
Konkret sollte ein nützlicher Test verwendet werden, um festzustellen, welche Version untersucht wurde und unter welchen Bedingungen. Ein auf die Textproduktion beschränktes Modell hat nicht die gleichen Möglichkeiten wie ein Software-Agent. Der Zugangsumfang ist somit Teil von Hintons Problem.
Simulierte Angriffe zur Suche nach Fehlschlägen
Die Europäische Verordnung über künstliche Intelligenz sieht eine Reihe von Verpflichtungen für Anbieter von Allzweckmodellen mit systemischem Risiko vor. Artikel 55 verlangt Bewertungen unter Verwendung von Protokollen und Werkzeugen, die dem Stand der Technik entsprechen. Es erwähnt ausdrücklich kontradiktorische Tests, die versuchen, das Modell in den Standard zu setzen.
Der Text fordert auch die Bewertung und Reduzierung systemischer Risiken sowie die Dokumentation und Meldung schwerwiegender Vorfälle ohne unnötige Verzögerung. Cybersecurity muss das Modell und seine physische Infrastruktur abdecken. Diese Anforderungen betreffen eine bestimmte Kategorie von Modellen: Sie bedeuten nicht, dass jede Anwendung eine identische Sicherheitsbescheinigung hat.
Der europäische Ansatz gibt somit eine konkrete Übersetzung zu mehreren Themen der Debatte. Der Lieferant muss Informationen über Risiken und Korrekturmaßnahmen vorlegen. Evaluation ist nicht nur eine öffentliche Einschätzung der beeindruckenden Natur eines Systems.
Der Europäische Verhaltenskodex ergänzt dieses System. Sie wurde im Juli 2025 veröffentlicht und wird von der Kommission als freiwillige Methode zum Nachweis der Einhaltung gesetzlicher Verpflichtungen vorgestellt. Seine Kapitel umfassen Transparenz, Urheberrecht, Sicherheit und Sicherheit. Letzteres bezieht sich auf die von den Systemrisikoverpflichtungen abgedeckten Modelle.
Unabhängigkeit ist nicht nur im Namen des Controllers
Hintons Vorschlag stellt eine separate Autorität von den Herstellern in den Mittelpunkt der Entscheidung. Sein Interesse liegt in dem möglichen Konflikt zwischen der Geschwindigkeit des Marketings und der für das Testen benötigten Zeit. Ein Unternehmen kann sein Modell besser kennen als jeder andere, während es ein wirtschaftliches Interesse daran hat, es schnell zu übertragen.
Damit die externe Steuerung zusätzliche Informationen liefern kann, müssen mehrere Fragen geklärt werden: Auf welche Version greifen Bewerter zu? Welche Ergebnisse können sie untersuchen? Können sie die Tests wiederholen? Wer entscheidet, was als nächstes passiert, wenn ein großer Fehler auftritt? Diese Fragen beschreiben die praktischen Bedingungen einer Prüfung, ohne eine Antwort für ein bestimmtes Unternehmen anzunehmen.
Ein Vergleich mit Drogen hat auch eine offensichtliche Grenze. Ein allgemeines Modell kann für sehr unterschiedliche Aufgaben verwendet werden und erhält nach der Verbreitung neue Werkzeuge. Ihre Bewertungsakte muss daher die untersuchten Verwendungen und Bedingungen angeben. Eine positive Aufwertung innerhalb eines gegebenen Umfangs erfüllt nicht alle möglichen Verwendungen.
Hintons persönliche Kritik an einigen Führern ist Teil seines Urteils. Sie ersetzen keine Testergebnisse oder Hinweise auf besonderes Fehlverhalten. Die Debatte um Verantwortung wird präziser, wenn es um dokumentierte Entscheidungen, Zugriffe und Vorfälle geht.
Nach dem Start, halten Sie die Fähigkeit zu handeln
Der NIST Practical Guide erfordert die Überwachung von Risiken und Nutzen während der gesamten Lebensdauer des Systems. Sie plant zu prüfen, ob der Einsatz fortgesetzt werden sollte, und die Reaktionen auf die beobachteten Risiken anzupassen. Zu den Kontrollen können Zugang, Nutzungsbeschränkungen, Dokumentation und Organisation der menschlichen Arbeit rund um das System gehören.
Diese Kontinuität reagiert auf eine konkrete Schwierigkeit: Die tatsächliche Verwendung kann Probleme aufdecken, die bei den ersten Tests nicht vorhanden waren. Ein Update, eine Änderung der Integration oder eine neue Benutzerpopulation verändert den Kontext. Die Überwachung muss in der Lage sein, einen Vorfall mit der verwendeten Version und den Betriebsbedingungen zu verknüpfen.
Die operative Verantwortung beginnt dann mit identifizierbaren Entscheidungen. Wer kann eine Funktion einschränken? Wer bekommt die Warnungen? Wer überprüft die Wirksamkeit einer Korrektur? Ein Evaluierungsbericht verliert einen Teil seiner Nützlichkeit, wenn niemand dafür verantwortlich ist, auf seine Ergebnisse zu reagieren.
Hinton bezieht sich auf mögliche Störungen von Stromnetzen, Bankdienstleistungen oder Gesundheitssystemen. Diese Szenarien bringen ihre Besorgnis zum Ausdruck; Sie stellen keine Ankündigung weiterer etablierter Angriffe auf diese Infrastrukturen dar. Sein Appell bewegt die Debatte jedoch zu einer überprüfbaren Anforderung: Fähigkeiten und Risiken vor dem Öffnen zu dokumentieren und dann die Mittel beizubehalten, um problematische Nutzung zu korrigieren, einzuschränken oder zu stoppen.
Kommentare