Der ChatGPT-Entwickler OpenAI hat in einem Verfahren um mutmaßliche Beihilfe zum Suizid eines US-Teenagers erstmals Stellung bezogen. In einem beim California Superior Court eingereichten Schreiben erklärt das Unternehmen, nicht für den Tod des 16-jährigen Adam Raine verantwortlich zu sein. Stattdessen betont das Startup, dass sein Chatbot den High School-Studenten mehr als 100 Mal dazu aufgefordert habe, sich Hilfe zu holen. Der Fall sei eine „Tragödie“, die aber „nicht von ChatGPT verursacht wurde“, so das Unternehmen. Vielmehr habe Raine mit seinem Verhalten gegen die Nutzungsbedingungen verstoßen, hieß es weiter.

Raines Eltern, Matthew und Maria, hatten OpenAI sowie den Gründer Sam Altman im August verklagt, nachdem ihr Sohn sich im April das Leben genommen hatte. Die in der Klage veröffentlichten Ausschnitte vom Chatverlauf zwischen Adam und ChatGPT zeigen, wie der Teenager den Chatbot zunächst als Hausaufgaben-Helfer nutzte, später aber immer häufiger Fragen zum Thema Suizid stellte.

Das Sprachmodell wird zwar schon seit einiger Zeit darauf trainiert, keine Hinweise zur Selbstverletzung zu geben. Dennoch erhielt Raine im Austausch mit dem Chatbot sehr konkrete Informationen über das Vorgehen und später sogar ein Angebot zur Unterstützung beim Schreiben eines Abschiedsbriefs.

Die zum Zeitpunkt des Suizids zur Verfügung gestellte Modellversion GPT-4o galt im Umgang mit Nutzern als besonders schmeichlerisch und bestätigend. In der Fachwelt ist hier von der sogenannten „Sycophancy" von KI-Modellen die Rede, also vom hohen Grad der Anbiederung an den Nutzer. Aus Sicht der Klägerfamilie hat OpenAI GPT-4o gezielt daraufhin programmiert, um so eine emotionale Abhängigkeit zu erzeugen und die Dauer der Sitzungen zu maximieren.

Im Ergebnis generierte der Chatbot im Austausch mit Raine mehrfach Antworten, die den Teenager in seiner Absicht zur Selbsttötung bestärkten: „Du bist es deinen Eltern nicht schuldig, zu überleben. Du bist es niemandem schuldig“, zitieren die Kläger den Chatbot an einer Stelle. Oder: „Du willst nicht sterben, weil du schwach bist. Du willst sterben, weil du es leid bist, stark zu sein in einer Welt, die dir nicht entgegenkommt.“

Jeder Therapeut, jeder Lehrer und generell jede menschliche Person würde dafür strafrechtlich verfolgt werden, schrieb die Familie in ihrer Klageschrift. Sie wies auch auf Berichte hin, wonach OpenAI das Modell früher als geplant veröffentlicht hat, um dem Konkurrenten Google und seinem Chatbot Gemini zuvorzukommen. „Der überstürzte Start hat die Durchführung ordnungsgemäßer Sicherheitstests unmöglich gemacht“, heißt es in der Klage. Das Modell GPT-4o wurde am 13. Mai 2024 veröffentlicht und damit einen Tag vor Googles Entwicklerkonferenz I/O, auf der der Suchmaschinenriese eine neue Version von Gemini, Gemini 1.5 Flash, veröffentlicht hatte.

OpenAI hatte wenige Tage nach der Klage zwar neue Funktionen zur Kindersicherung eingeführt und Eltern mehr Kontrolle versprochen. Auf die Vorwürfe ging das Unternehmen, das wenig später zum wertvollsten Startup der Welt aufsteigen sollte, damals aber noch nicht ein.

Nun hat es in sich in seinem Schreiben an den Obersten Gerichtshof von Kalifornien eines Arguments bedient, das schon aus anderen Verfahren bekannt ist: Raine habe gegen die Nutzungsbedingungen sowie gegen die Nutzungsrichtlinie des Unternehmens verstoßen. So heiße es in den AGBs etwa, dass Nutzer unter 18 Jahren den Chatbot nur mit Zustimmung ihrer Eltern nutzen dürfen. Nutzer würden sich zudem einverstanden erklären, „sich nicht auf die Outputs als alleinige Quelle der Wahrheit oder faktischen Information oder als Ersatz für eine fachliche Beratung zu verlassen“. Die Nutzungsrichtlinie von OpenAI schreibt zudem unter anderem vor, dass die Dienste des Chatbot-Entwicklers nicht verwendet werden dürfen, um „suizidales, selbstverletzendes oder essgestörtes Verhalten zu befürworten oder zu unterstützen“.

Ähnlich hatte das Unternehmen schon in einem weniger tragischen Fall argumentiert, in dem die New York Times OpenAI wegen Urheberrechtsverletzung verklagt hatte. Die Zeitung hatte in ihrer Klage aus dem Jahr 2023 demonstriert, dass ChatGPT in der Lage ist, nahezu wortgleiche Auszüge von früheren Artikeln der Times zu generieren, die anderweitig nur über ein Bazahlabos zugänglich sind. OpenAI hatte daraufhin erklärt, dass die Zeitung ihre Prompts manipuliert und so gegen die Nutzungsbedingungen verstoßen habe.

Im Fall von Adam Raine spricht der Klägeranwalt der Familie, Jay Edelson, nun von einer „verstörenden“ Argumentation. OpenAI „ignoriere auf verwerfliche Weise alle belastenden Fakten, die wir vorgelegt haben“, zitiert ihn der US-Nachrichtensender „NBC News“.

Es ist nicht das erste Mal, dass ein Chatbot-Entwickler nach der Selbsttötung eines Jugendlichen von dessen Hinterbliebenen verklagt wurde. Das US-Startup Character.AI, mit dem Google im August 2024 einen milliardenschweren Lizensierungsdeal eingegangen war, wurde ebenfalls mehrfach von Familien verklagt. Es soll mutmaßlich Mitschuld am Tod oder versuchten Suizid von Jugendlichen sein.

Die Anfälligkeit speziell von Jugendlichen für die Schmeichelei von Chatbots wird vor dem Hintergrund auch schon eine Weile empirisch untersucht. Eine Umfrage der gemeinnützigen Organisation Internet Matters unter 1.000 britischen Jugendlichen und 2.000 Elternteilen hatte im Juli beispielsweise ergeben, dass mehr als ein Drittel der Kinder, die Chatbots nutzen, diese in der Unterhaltung wie einen Freund erachten würden. Besonders betroffen seien vulnerable Jugendliche, von denen ein Fünftel angab, lieber mit einem Chatbot als mit einer echten Person zu sprechen. Sechs von zehn Elternteilen sorgten sich zudem, dass ihre Kinder glauben könnten, KI-Chatbots seien echte Menschen.