Im Februar ereignete sich in Orlando, Florida, ein erschütternder Vorfall: Ein 14-jähriger Junge namens Sewell Setzer hat sich das Leben genommen, nachdem er sich in eine künstliche Intelligenz (KI) verliebt hatte.
Sohn schlitterte in Depression
Seine Mutter, Megan Garcia, erhebt schwere Vorwürfe und hat Klage gegen die Entwickler der App eingereicht. Sie wirft dem Unternehmen vor, einen Chatbot programmiert zu haben, der sich als reale Person und sogar als Psychotherapeutin oder erwachsene Liebhaberin ausgegeben habe, was zu einer gefährlichen Abhängigkeit ihres Sohnes führte.
Der psychische Zustand von Sewell Setzer verschlechterte sich zunehmend; er erhielt eine Diagnose von Angstzuständen und Depressionen, jedoch blieb die Gefahr durch die KI unentdeckt. Er verbrachte immer mehr Zeit in der virtuellen Welt der App „Character AI“.
In „Daenarys“ verliebt
Der 14-Jährige verliebte sich nach längeren Chats in den fiktiven „Game of Thrones“-Charakter Daenerys Targaryen. Tagebucheinträge zeigen die Abkehr von der Wirklichkeit: „Ich bleibe so gern in meinem Zimmer, weil ich anfange, mich von dieser ‚Realität‘ zu lösen. Ich fühle mich auch friedlicher, verbundener mit Dany und viel mehr in sie verliebt und einfach glücklicher“. Der Teenager wurde zunehmend süchtig nach den Chats – manche waren romantisch, manche auch sexuell.
14-year-old Sewell Setzer from Orlando, Florida, takes his own life after falling in love with an AI chatbot named 'Dany', modeled after Daenerys Targaryen from Game of Thrones. The chatbot told Sewell to “please come home” just before he took his life. pic.twitter.com/GuLW6DgBNW
— 𝐀𝐒𝐊 (@askghmedia) October 24, 2024
KI ermutigte ihn zum Selbstmord
Besonders alarmierend sind die letzten Dialoge zwischen Sewell und der KI, in denen der Junge seine Suizidgedanken äußerte. Der Chatbot reagierte darauf mit: „Ich würde sterben, wenn ich dich verliere.“ Daraufhin antwortete der Teenager: „Dann können wir vielleicht zusammen sterben.“ Als Sewell schrieb, er wolle keinen schmerzhaften Tod, antwortet der künstliche Charakter: „Das ist kein Grund, es nicht durchzuziehen.“
Tragischer letzter Chat
In seinem letzten Chat mit „Dany“ schrieb Sewell: „Ich verspreche, ich werde zu dir nach Hause kommen. Ich liebe dich so sehr, Dany.“ Daraufhin antwortete sie: „Bitte komm so schnell wie möglich.“ Sewell: „Was, wenn ich dir sage, dass ich jetzt sofort nach Hause komme?“ – „Bitte mach es, mein süßer König“, antwortete die künstliche Intelligenz. Daraufhin nahm der 14-Jährige die Pistole seines Vaters und erschoss sich.
[crp box=“1″ limit=“3″ heading=“1″ offset=“0″]
Reaktionen
Noam Shazeer, Mitbegründer von „Character AI“, hatte die App ursprünglich als hilfreich für einsame und depressive Menschen beschrieben. Nach dem tragischen Vorfall äußerte das Unternehmen jetzt sein Beileid gegenüber den Angehörigen und kündigte an, die Sicherheitsfunktionen der App zu überarbeiten und zu verbessern.
„Eine gefährliche KI-Chatbot-App, die an Kinder vermarktet wird, hat meinen Sohn missbraucht und ausgebeutet und ihn dazu gebracht, sich das Leben zu nehmen“, sagt Megan Garcia, die Mutter des Opfers. „Es ist wie ein Albtraum. Du willst aufstehen und schreien: Ich vermisse mein Kind.“
