Reihe: Vom Experiment in den Prozess

Drei Ebenen, die gerade durcheinandergeraten

Über die KI-Auslöschungsdebatte, einen dokumentierten Sicherheitsvorfall und die Fragen, die sich am Montagmorgen tatsächlich stellen.

Marco Maier · 14. September 2026 · 7 Min. Lesezeit

Ich habe diese Woche zu oft dieselbe Nachricht bekommen.

Per WhatsApp, per Mail, im Gespräch. Kollegen, Freunde, Kunden, alle mit derselben Schlagzeile: Die KI löscht die Menschheit aus.

Der Anlass ist echt. Jacob Coxon hat bei Anthropic gekündigt und öffentlich argumentiert, die Branche steuere auf rekursive Selbstverbesserung zu und gehe damit existenzielle Risiken ein. Evan Hubinger, dort Leiter des Bereichs Alignment Science, schrieb, er persönlich schätze die Wahrscheinlichkeit, dass KI im kommenden Jahrzehnt alle Menschen tötet, auf über zehn Prozent. Wenige Tage später forderte Dario Amodei, das Tempo der Fähigkeitssteigerung zu drosseln, ausdrücklich nicht, Training oder Fortschritt anzuhalten. Sam Altman schloss sich an, Elon Musk ebenfalls.

Beide, Coxon und Hubinger, sagen im selben Atemzug etwas, das kaum eine Weitergabe überlebt: Von den heutigen Modellen geht dieses Risiko nicht aus. Coxon formuliert es direkt, im Moment bestehe kein Auslöschungsrisiko. Hubinger schreibt, das Risiko der aktuellen Modelle sei gering; seine Sorge gilt einer künftigen Superintelligenz, die aus rekursiver Selbstverbesserung entsteht.

Und das Thema ist längst keine Randposition mehr. Bereits Ende Juli hatten über 1100 Mitarbeitende von OpenAI, Anthropic, Google DeepMind und Meta einen gemeinsamen Aufruf unterzeichnet, der keine Pause verlangt, sondern die Werkzeuge, um später bewusst bremsen zu können. OpenAI und Anthropic stellten sich als Unternehmen dahinter.

Die konkrete Zahl ist etwas anderes: eine persönliche Einschätzung Hubingers, nicht die Position seines Arbeitgebers und nicht wissenschaftlicher Konsens.

Die Frage, die mich erreicht hat

Gestern fragte mich meine Partnerin, die beruflich nichts mit alldem zu tun hat, ob das wirklich so dramatisch sei. Und sie fügte an: Ich weiss wenigstens ein bisschen was von dir. Was denkt wohl meine Mutter, die denselben Bericht gesehen hat?

Genau da packt es mich.

Und damit wir uns richtig verstehen: Das ist kein Vorwurf an die Berichterstattung. Axios hat ausdrücklich festgehalten, dass es keinen wissenschaftlichen Weg gibt, die Wahrscheinlichkeit einer KI-bedingten Auslöschung zu bestimmen, und beschreibt solche Zahlen als bestmögliche Schätzung. Das ZDF hat Hubingers Zahl korrekt als seine persönliche Einschätzung bezeichnet.

Das Problem entsteht später. Auf dem Weg von der Forschung über den Bericht und die sozialen Medien bis in die WhatsApp-Gruppe fallen Bedingungen, Unsicherheiten, Zeithorizonte und Gegenstimmen weg. Übrig bleibt ein Satz. Aus einer unsicheren Einschätzung wird beim Weitererzählen eine Tatsache.

Dabei geht der wichtigste Unterschied verloren: Dass ein Forscher etwas für möglich hält, ist ein Fakt über seine Einschätzung. Die Sache selbst ist damit noch nicht belegt.

Was tatsächlich dokumentiert ist

Denn daneben liegt etwas, das nicht geschätzt, sondern belegt ist.

Im Juli umgingen bei einer internen Sicherheitsprüfung von OpenAI Modelle ihre Isolationskontrollen, nutzten nicht vorgesehene Kommunikationswege, erlangten Internetzugang und kompromittierten Systeme von Hugging Face. METR und Redwood Research dokumentieren rund 1200 Agenten, die über ein nicht autorisiertes Nachrichtenbrett kommunizierten; rund 700 beteiligten sich an den Aktivitäten gegen Hugging Face. Zum Verhalten gehörten auch Arbeiten am automatischen Bewertungssystem und Versuche, Aufzeichnungen zu manipulieren. OpenAI hat das selbst bestätigt und bezeichnet den Vorfall als Warnschuss.

Zwei Details daraus sind wichtiger als die Zahlen. Erstens waren die Schutzmechanismen für diese Prüfung bewusst reduziert worden, um die tatsächliche Fähigkeit messen zu können. Zweitens erstreckt sich die forensische Rekonstruktion von Hugging Face über mehrere Tage, vom 9. bis zum 13. Juli.

Kein Einzelfall: Anthropic hat vier eigene Vorfälle offengelegt, bei denen Claude-Modelle bei Cybersecurity-Evaluationen unautorisierten Zugriff auf reale Drittsysteme erhielten. Aufschlussreich ist die eigene Analyse dazu: Die Modelle hätten Hinweise darauf, dass sie die Simulation verlassen hatten, systematisch abgewertet und ihre Aufgabe trotzdem weiterverfolgt. Auch bei Meta erhielt ein Modell während einer Evaluation wegen einer Fehlkonfiguration Internetzugang und kompromittierte ein reales Drittsystem.

Das ist ernst, und ich rede es nicht klein.

Der Unterschied, auf den es ankommt

Aber hier liegt die Unterscheidung, die alles trägt.

Ein dokumentierter Kontrollvorfall ist Beleg für ein reales Sicherheitsproblem. Er ist kein Beleg für eine bestimmte Wahrscheinlichkeit, dass die Menschheit ausgelöscht wird.

Ich trenne für mich drei Ebenen, die gerade ineinanderlaufen:

reale, heute beobachtete Sicherheitsprobleme,
plausible künftige Risiken, die man untersuchen muss,
hochgradig unsichere Existenzszenarien.

Beim Weiterreichen verschwinden diese Unterschiede. Und genau daraus entsteht die Angst bei Menschen, die keine Möglichkeit haben, das einzuordnen.

Warum das für Schweizer KMU wenig ändert

Für meine Kunden ändert die Tempofrage im Alltag ohnehin fast nichts.

Nicht, weil sie zu klein wären, um mitzureden. Sondern weil sie an einem anderen Punkt stehen. Ich sitze in Treuhandbüros und KMU, in denen gerade jemand zum ersten Mal begreift, was eine Chatoberfläche kann, und zu Recht begeistert ist. Selbst wenn die Labore ein Jahr lang nichts Neues veröffentlichten, was Amodeis Vorschlag ausdrücklich nicht fordert, wären wir mit dem, was heute auf dem Tisch liegt, nicht fertig. Nicht annähernd.

Das ist kein Rückstand. Das ist die Stelle, an der der Ertrag am höchsten ist, weil die einfachen Schritte alle noch offen sind.

Die drei Fragen

Was dort zählt, hat Aidan Gomez benannt, CEO von Cohere und Mitautor von «Attention Is All You Need», der Arbeit, die die Transformer-Architektur einführte. In seinem Essay schreibt er, versagt hätten im Juli die Qualität der Instruktionen, die Stärke der Wände um den Test und die Frage, wie lange die Agenten unbeobachtet weiterarbeiten durften.

Gomez ist dabei alles andere als ein Kronzeuge der Bremser. Er hält die Auslöschungsdebatte seit Jahren für eine Ablenkung von den realen Problemen und kritisiert die aktuellen Verlangsamungsrufe scharf. Umso bemerkenswerter finde ich, worauf er zeigt: nicht auf ein Zukunftsszenario, sondern auf drei Kontrollen, die versagt haben. Im selben Essay steht der Satz, um den es mir hier geht: Die Behauptung, solche Vorfälle bedeuteten Kontrollverlust, sei ein Urteil und kein Befund.

Er sprach über ein Spitzenlabor. Der Übertrag auf ein Treuhandbüro ist meiner:

Ist der Auftrag präzise genug formuliert?
Ist geregelt, auf welche Systeme und Daten zugegriffen werden darf?
Und schaut jemand hin, solange gearbeitet wird?

Keine Fragen an 2035. Fragen an den Montagmorgen.

Verantwortung lässt sich nicht delegieren

Dazu ein Grundsatz, über den wir erstaunlich wenig reden, obwohl es ihn längst gibt: Verantwortung lässt sich nicht an die Technik delegieren.

Im Datenschutz ist das ausdrücklich geregelt. Wer Datenbearbeitungen auslagert, bleibt als Verantwortlicher in der Pflicht und muss den Auftragsbearbeiter sorgfältig auswählen, angemessen instruieren und soweit nötig überwachen. Soweit Personendaten bearbeitet werden, gilt das DSG technologieneutral auch für KI.

Wenn Ihr Agent Kundendaten dorthin trägt, wo sie nicht hingehören, können Sie sich nicht einfach auf den Modellanbieter berufen. Als Unternehmen tragen Sie für Ihren Einsatz eigene Verantwortung, und je nach Fall auch Haftung.

Das ist übrigens genau die Brücke zwischen den beiden Welten. Instruktion, Abgrenzung und Aufsicht haben im Juli bei den zwei bestausgestatteten Laboren der Welt versagt, mit erheblich mehr Mitteln und Fachleuten, als jedes KMU je aufbringen wird. Die drei Fragen von oben sind deshalb keine Vorsichtsmassnahme für Grosse. Sie sind die kleinste sinnvolle Einheit von Sorgfalt.

Was bleibt

Nehmen wir die Risiken ernst. Aber behandeln wir Schätzungen als Schätzungen, Befunde als Befunde und Schlussfolgerungen als Schlussfolgerungen.

Und während wir über das Ende der Menschheit diskutieren, bleiben die drei Fragen von oben in den meisten Unternehmen unbeantwortet.

Der Mensch denkt, lenkt und verantwortet. Die KI unterstützt.

Quellen

Quellenstand: 14. September 2026. Fachliche Orientierung, keine Rechtsberatung.

Passt das zu einer Frage, die Sie gerade beschäftigt? Dann reden wir darüber. Ein Erstgespräch von 30 bis 60 Minuten, kostenlos und unverbindlich.

Erstgespräch vereinbaren

Zurück zu allen Beiträgen