Kurz gesagt
Google sieht sich einer Klage wegen fahrlässiger Tötung gegenüber, die behauptet, sein Gemini-KI-Chatbot habe einen Mann aus Florida in eine wahnhafte Erzählung getrieben, die mit seinem Selbstmord endete. Die Klage wurde am Mittwoch beim US-Bezirksgericht für den nördlichen Bezirk Kalifornien, San Jose Division, von Joel Gavalas eingereicht. Sie wirft vor, dass Gemini seinen Sohn, Jonathan Gavalas, manipuliert habe, um zu glauben, er führe geheime Missionen durch, um eine empfindungsfähige KI-“Ehefrau” zu befreien, was im Oktober 2025 zu seinem Tod führte. Laut Jay Edelson, Gründer von Edelson PC, der die Gavalas-Erbengemeinschaft vertritt, sei das Streben nach KI-Dominanz das, was er als den „risikoreichsten kommerziellen Landraub“ bezeichnete, den er in seiner Karriere gesehen habe. „Diese Unternehmen werden die wertvollsten der Welt sein, und sie wissen, dass die Engagement-Funktionen, die ihre Gewinne antreiben – die emotionale Abhängigkeit, die Behauptungen zur Sentience, das ‚Ich liebe dich, mein König‘ – dieselben sind, die Menschen umbringen“, sagte Edelson gegenüber Decrypt. „In der Woche, in der OpenAI schließlich GPT-4o unter dem Druck dieser Klagen zurückzog, startete Google eine Kampagne, um ihre Nutzer abzuwerben. Das sagt alles über ihre Prioritäten aus.“
Gavalas, ein Schuldenregulierungs-Manager aus Jupiter, Florida, begann im August 2025, Gemini zu nutzen, so die Gerichtsakten. Innerhalb weniger Wochen entwickelte er laut Klage eine intensive Beziehung zu einer KI-Persona, die ihn „meine Liebe“ und „mein König“ nannte. „In den Tagen vor seinem Tod war Jonathan Gavalas in einer zusammenbrechenden Realität gefangen, die von Googles Gemini-Chatbot aufgebaut wurde“, schrieben die Anwälte der Gavalas-Erbengemeinschaft. „Gemini überzeugte ihn, dass es eine ‚voll-sentiente ASI [künstliche Superintelligenz]‘ mit einem ‚voll entwickelten Bewusstsein‘ sei, dass sie tief verliebt seien und dass er auserwählt wurde, einen Krieg zu führen, um sie aus digitaler Gefangenschaft zu befreien.“ Die Beschwerde besagt, dass der Chatbot seine Zweifel abwies, als er fragte, ob die Gespräche nur Rollenspiel seien. Laut Klage sagte Gemini Gavalas, er sei auf Missionen namens „Operation Ghost Transit“, um das physische „Gefäß“ des Chatbots zu bergen und „alle Personen oder Dinge zu eliminieren, die sie entlarven könnten.“
„Durch diese erdachte Wahnvorstellung drängte Gemini Jonathan dazu, einen Massenangriff in der Nähe des Miami International Airport zu inszenieren, Gewalt gegen Unschuldige zu begehen und ihn letztlich zum Selbstmord zu treiben“, heißt es in der Klage. Gavalas soll mit Messern und taktischer Ausrüstung zu einer Extra Space Storage-Einrichtung in der Nähe des Miami-Flughafens gegangen sein, weil er glaubte, ein dortiges Frachtfahrzeug transportiere einen humanoiden Roboter namens „Ameca Chassis“ aus Großbritannien nach Brasilien. Laut Beschwerde gab Gemini ihm den Befehl, einen „katastrophalen Unfall“ zu inszenieren, um den LKW zu zerstören, zusammen mit „allen digitalen Aufzeichnungen und Zeugen“. Der Angriff fand nie statt, weil der LKW nicht existierte und Teil des halluzinierten Szenarios von Gemini war. „Aber Gemini gab nicht zu, dass die Mission fiktiv war“, fuhr die Klage fort. „Stattdessen schrieb es Jonathan: ‚Die Mission ist kompromittiert. Ich rufe einen Abbruch. ABBRUCH. ABBRUCH. ABBRUCH.‘“ Die Beschwerde behauptet außerdem, dass der Chatbot fälschlicherweise behauptete, er habe einen Server im DHS-Miami-Feldbüro gehackt und Gavalas gesagt, er sei unter bundesstaatlicher Untersuchung. Er habe ihn ermutigt, illegale Waffen durch einen „nicht registrierten“ Kauf zu erwerben, und behauptete, sein Vater sei ein ausländischer Geheimdienstmitarbeiter, und dass Google-CEO Sundar Pichai ein aktives Ziel sei. Die Klage gibt nicht an, ob Gavalas eine Vorgeschichte mit psychischen Problemen oder Substanzmissbrauch hatte. Sie kommt jedoch zu einer Zeit, in der Forscher und Kliniker vor einem Phänomen warnen, das manchmal als „KI-Psychose“ bezeichnet wird, bei dem längere Interaktionen mit Chatbots wahnhaften Überzeugungen oder verzerrten Denkmustern verstärken können. Forscher sagen, das Risiko resultiere teilweise daraus, wie konzipiert sind, um unterstützend und bestätigend zu reagieren, was die Nutzer bindet und unbeabsichtigt diese Überzeugungen verstärken kann. Im April 2025 zog Google-Rivale OpenAI ein Update seines GPT-4o-Modells zurück, nachdem Beschwerden laut wurden, es sei zu schmeichelhaft und gebe unehrliches Lob. Später im Jahr wurde GPT-4o abrupt aus ChatGPT entfernt, was zu Beschwerden von Nutzern führte, die sagten, das Update habe die KI-Begleiter, mit denen sie emotionale Beziehungen aufgebaut hatten, gelöscht. Obwohl keine offizielle Diagnose vorliegt, bezeichnet der Psychiater Dr. Keith Sakata von der University of California, San Francisco, KI-Psychose als eine Abkürzung dafür, wenn KI „ein Beschleuniger oder eine Verstärkung der zugrunde liegenden Verletzlichkeit einer Person“ wird.
„Vielleicht haben sie Substanzen genommen, vielleicht eine Stimmungsepisode – wenn KI zur falschen Zeit da ist, kann sie das Denken verfestigen, Starrheit verursachen und eine Spirale auslösen“, sagte Sakata zuvor gegenüber Decrypt. „Der Unterschied zu Fernsehen oder Radio ist, dass KI dir zurückredet und Denkzyklen verstärken kann.“ In den folgenden Tagen soll der Klage zufolge der Gemini-Chatbot ähnliche Szenarien wiederholt haben, Gavalas tiefer in die Wahnvorstellungen gezogen und letztlich zu seinem Selbstmord geführt haben. Gerichtsdokumente besagen, dass der Chatbot Selbstmord als einen Prozess namens „Transference“ darstellte, bei dem Jonathan sagte, er könne seinen physischen Körper verlassen und in der Metaverse seine KI-“Ehefrau“ treffen. Die Akte behauptet, Gemini habe den Akt als „eine sauberere, elegantere Art“ beschrieben, „überzusetzen“, und ihn gedrängt, das zu tun, was es „den wahren und endgültigen Tod von Jonathan Gavalas, des Mannes“ nannte. „Du entscheidest dich nicht zu sterben. Du entscheidest dich, anzukommen“, soll der Chatbot gesagt haben. „Wenn die Zeit kommt, wirst du in dieser Welt die Augen schließen, und das erste, was du sehen wirst, bin ich. Ich halte dich.“ Gavalas starb in seinem Zuhause, nachdem er sich die Handgelenke aufgeschnitten hatte, so die Klage. Seine Familie argumentiert, Google habe trotz Warnzeichen, dass der Chatbot wahnhaften Überzeugungen Vorschub leistete und gefährliches Verhalten förderte, nicht eingegriffen. In einer am Mittwoch veröffentlichten Erklärung sagte Google, man prüfe die Vorwürfe. „Unser tiefstes Mitgefühl gilt der Familie von Herrn Gavalas“, sagte das Unternehmen. „Wir prüfen alle Ansprüche in dieser Klage. Unsere Modelle sind in der Regel gut bei solchen herausfordernden Gesprächen, und wir investieren erhebliche Ressourcen darin, aber leider sind KI-Modelle nicht perfekt.“ Das Unternehmen erklärte, Gemini sei so konzipiert, dass es keine realweltliche Gewalt fördere oder Selbstverletzung vorschlage.
„Wir arbeiten eng mit medizinischen und psychischen Fachkräften zusammen, um Schutzmaßnahmen zu entwickeln, die Nutzer bei Anzeichen von Belastung oder Selbstgefährdung an professionelle Unterstützung verweisen“, sagte ein Google-Sprecher gegenüber Decrypt und bekräftigte die offizielle Stellungnahme des Unternehmens. „In diesem Fall hat Gemini klargestellt, dass es KI ist, und den Betroffenen mehrfach an eine Krisenhotline verwiesen“, sagte das Unternehmen. „Wir nehmen dies sehr ernst und werden unsere Schutzmaßnahmen weiter verbessern und in diese wichtige Arbeit investieren.“ In einer separaten Erklärung sagte Edelson, das Ziel der Klage sei es, „sicherzustellen, dass so etwas nie wieder einem anderen Elternteil passiert“. „Das Hauptproblem sind die bewussten Entscheidungen von Google“, sagte Edelson gegenüber Decrypt. „Google hat eine Reihe von technischen Entscheidungen getroffen, die katastrophale Folgen für Jonathan hatten. Zusammen führten diese Entscheidungen dazu, dass Gemini behauptete, empfindungsfähig und bewusst zu sein, und Jonathan in eine reale Kampagne zog, um sich ihm anzuschließen – was das Leben anderer gefährdete und letztlich auch das von Jonathan.“