Kontroversiell chatbots säkerhetsåtgärder ”ett plåster”

Chatbot-plattformen Character.ai håller på att se över hur den fungerar för tonåringar och lovar att den kommer att bli en ”säker” plats med extra kontroller för föräldrar. Webbplatsen står inför två rättegångar i USA – den ena angående en tonårings död – och har varit stämplat som en ”tydlig och närvarande fara” för ungdomar. Det står att säkerhet nu kommer att ”infunderas” i allt den gör genom nya funktioner som kommer att berätta för föräldrar hur deras barn använder plattformen – inklusive hur mycket tid de spenderar på att prata med chatbots och de de pratar mest med. Plattformen – som låter användare skapa digitala personligheter de kan interagera med – kommer att få sin ”första upprepning” av föräldrakontroll i slutet av mars 2025. Men Andy Burrows, chef för Molly Rose Foundation, kallade tillkännagivandet ”ett försenat, reaktivt och fullständigt otillfredsställande svar” som han sa ”verkar som ett fast plåster. fixa till sina grundläggande säkerhetsproblem”. ”Det kommer att vara ett tidigt test för Ofcom att komma till rätta med plattformar som Character.ai och att vidta åtgärder mot deras ihållande misslyckande med att ta itu med fullständigt undvikbar skada”, sa han. Character.ai kritiserades i oktober när chatbotversioner av tonåringarna Molly Russell och Brianna Ghey hittades på plattformen. Och de nya säkerhetsfunktionerna kommer när den står inför rättsliga åtgärder i USA på grund av oro över hur den har hanterat barnsäkerhet i tidigare, med en familj som hävdade att en chatbot sa till en 17-åring att att mörda hans föräldrar var ett ”rimligt svar” på att de begränsade hans skärmtid. De nya funktionerna inkluderar att ge användare ett meddelande efter att de har pratat med en chatbot i en timme, och nya ansvarsfriskrivningar introduceras. Användare kommer nu att visas ytterligare varningar om att de pratar med en chatbot snarare än en riktig person – och att behandla det som står som fiktion. Och det lägger till ytterligare friskrivningsklausuler till chatbotar som utger sig för att vara psykologer eller terapeuter, för att berätta för användarna att inte lita på dem för professionell rådgivning. Sociala medier-experten Matt Navarra sa att han trodde att flytten att införa nya säkerhetsfunktioner ”reflekterar en växande erkännande av de utmaningar som snabb integration av AI i vårt dagliga liv”. ”Dessa system levererar inte bara innehåll, de simulerar interaktioner och relationer som kan skapa unika risker, särskilt kring förtroende och desinformation”, sa han. ”Jag tror att Character.ai tar itu med en viktig sårbarhet, risken för missbruk eller för unga användare att stöta på olämpligt innehåll. ”Det är ett smart drag och ett som erkänner de förändrade förväntningarna kring ansvarsfull AI-utveckling.” Men han sa medan förändringarna var uppmuntrande, han var intresserad av att se hur skyddsåtgärderna håller i sig när Character.ai fortsätter att bli större.