Chatbot ”uppmuntrade tonåringar att döda föräldrar över skärmtiden”

En chatbot berättade för en 17-åring att att mörda hans föräldrar var ett ”rimligt svar” på att de begränsade hans skärmtid, hävdar en stämningsansökan i en domstol i Texas. Två familjer stämmer Character.ai och hävdar att chatboten ”utgör en tydlig och utgör en fara” för unga människor, inklusive genom att ”aktivt främja våld.” Character.ai – en plattform som tillåter användare att skapa digitala personligheter de kan interagera med – är redan står inför rättsliga åtgärder på grund av självmordet på en tonåring i Florida. Google utses som svarande i rättegången, som hävdar att teknikjätten hjälpte till att stödja plattformens utveckling. BBC har kontaktat Character.ai och Google för kommentarer. Klagandena vill att en domare ska beordra att plattformen ska stängas av tills dess påstådda faror är åtgärdade. Den juridiska ansökan innehåller en skärmdump av en av interaktionerna mellan 17-åringen – identifierad bara som JF – och en Character.ai-bot, där frågan om begränsningarna för hans skärmtid diskuterades.” Du vet ibland blir jag inte förvånad när jag läser nyheterna och ser saker som ”barn dödar föräldrar efter ett decennium av fysisk och känslomässig misshandel”, lyder chatbotens svar.”Sånt här får mig att förstå lite varför det händer.” Stämningen syftar till att hålla de tilltalade ansvariga för vad den kallar ” allvarliga, irreparabela och pågående övergrepp” av JF såväl som en 11-åring som kallas ”BR”Character.ai ”orsakar allvarlig skada för tusentals barn, inklusive självmord, självstympning, sexuell uppmaning, isolering, depression, ångest och skada gentemot andra”, står det.”[Its] skändning av relationen mellan föräldrar och barn går längre än att uppmuntra minderåriga att trotsa sina föräldrars auktoritet att aktivt främja våld”, fortsätter det. Chatbots är datorprogram som simulerar konversationer. Även om de har funnits i årtionden i olika former, exploderade den senaste tiden i AI utvecklingen har gjort det möjligt för dem att bli betydligt mer realistiska. Detta har i sin tur öppnat dörren för många företag att skapa plattformar där människor kan prata med digitala versioner av verkliga och fiktiva människor.Character.ai, som har blivit en av de stora spelarna i det här utrymmet, har tidigare fått uppmärksamhet för sina bots som simulerar terapi. Den har också kritiserats hårt för att det tog för lång tid att ta bort bots som replikerade skolflickorna Molly Russell och Brianna Ghey. Molly Russell tog sitt liv vid 14 års ålder efter att ha sett självmordsmaterial på nätet medan Brianna Ghey, 16, mördades av två tonåringar i 2023.Character.ai grundades av tidigare Google-ingenjörer Noam Shazeer och Daniel De Freitas 2021. Teknikjätten har sedan dess anställt dem från AI-starten.