Den djupfalska krisen som uppslukar hundratals skolor

BBC I lördags dök ett telegrammeddelande upp på Heejins telefon från en anonym avsändare. ”Dina bilder och personlig information har läckt ut. Låt oss diskutera.” När universitetsstudenten gick in i chattrummet för att läsa meddelandet fick hon ett foto på sig själv taget för några år sedan medan hon fortfarande gick i skolan. Den följdes av en andra bild med samma foto, bara denna var sexuellt explicit och falsk. Skräckslagen svarade Heejin, som inte är hennes riktiga namn, inte, men bilderna fortsatte att komma. I alla av dem hade hennes ansikte fästs vid en kropp som var engagerad i en sexakt, med hjälp av sofistikerad deepfake-teknologi. Deepfakes, av vilka de flesta kombinerar en verklig persons ansikte med en falsk, sexuellt explicit kropp, genereras alltmer med hjälp av artificiell intelligens ”Jag var förstenad, jag kände mig så ensam,” sa Heejin till BBC. Men hon var inte ensam. Två dagar tidigare hade den sydkoreanska journalisten Ko Narin publicerat vad som skulle bli hennes största scoop i hennes karriär. Det hade nyligen framkommit att polisen undersökte djupfalska porrringar vid två av länets stora universitet, och Ko var övertygad om att det måste finnas fler. Hon började söka i sociala medier och avslöjade dussintals chattgrupper på meddelandeappen Telegram där användare delade bilder kvinnor som de kände och använder AI-programvara för att konvertera dem till falska pornografiska bilder inom några sekunder. ”Varje minut laddade människor upp bilder på tjejer de kände och bad dem att förvandlas till djupa förfalskningar,” berättade Ms Ko. Ms Ko upptäckte att dessa grupper inte bara riktade sig till universitetsstudenter. Det fanns rum dedikerade till specifika gymnasieskolor och till och med mellanstadier. Om mycket innehåll skapades med bilder av en viss elev kan hon till och med få ett eget rum. Bredt märkta ”förnedring rum” eller ”vän till vänner rum”, de kommer ofta med strikta villkor. Kos rapport i Hankyoreh tidningen har chockat Sydkorea. På måndagen meddelade polisen att de överväger att inleda en utredning av Telegram, efter ledning av myndigheter i Frankrike, som nyligen anklagade Telegrams ryska grundare för brott relaterade till appen. Regeringen har lovat att införa strängare straff för de inblandade, och presidenten har uppmanat unga män att bli bättre utbildade. Telegram sa att det ”aktivt bekämpar skadligt innehåll på sin plattform, inklusive illegal pornografi”, i ett uttalande till BBC ”En systematisk och organiserad process” BBC har tittat på beskrivningarna av ett antal av dessa chattrum. En uppmanar medlemmarna att lägga upp mer än fyra foton av någon tillsammans med deras namn, ålder och området de bor i. ”Jag blev chockad över hur systematisk och organiserad processen var”, sa Ko. ”Det mest fruktansvärda jag upptäckte var en grupp för minderåriga elever på en skola som hade mer än 2 000 medlemmar.” Dagarna efter att Kos artikel publicerades började kvinnorättsaktivister också leta igenom Telegram och följa ledtrådar. Mot slutet den veckan hade mer än 500 skolor och universitet identifierats som mål. Det faktiska antalet påverkade är fortfarande inte fastställt, men många tros vara under 16 år, vilket är Sydkoreas ålder för samtycke. En stor del av de misstänkta gärningsmännen är själva tonåringar. Heejin sa att läran om krisens omfattning hade gjort hennes ångest värre, eftersom hon nu var orolig för hur många människor som kunde ha sett hennes djupa förfalskningar. Till en början skyllde hon sig själv. ”Jag kunde inte sluta tänka på att det här hände för att jag laddade upp mina bilder till sociala medier, borde jag ha varit mer försiktig?” Massor av kvinnor och tonåringar över hela landet har sedan dess tagit bort sina bilder från sociala medier eller inaktiverat sina konton helt och hållet, rädda de skulle kunna utnyttjas härnäst. ”Vi är frustrerade och arga över att vi måste censurera vårt beteende och vår användning av sociala medier när vi inte har gjort något fel”, sa en universitetsstudent, Ah-eun, vars kamrater har varit måltavlor. Ah-eun sa att ett offer vid hennes universitet blev tillsagt av polisen att inte bry sig om att driva hennes fall eftersom det skulle vara för svårt att fånga gärningsmannen, och att det ”inte var riktigt ett brott” eftersom ”bilderna var falska”.News 1Sydkoreaner har varit chockade och arga sedan deepfake-skandalen kom i dagen. Kärnan i denna skandal är meddelandeappen Telegram. Till skillnad från offentliga webbplatser, som myndigheterna enkelt kan komma åt och sedan begära att bilder tas bort, är Telegram en privat, krypterad meddelandeapp. Användare är ofta anonyma, rum kan ställas in på ”hemligt” läge och deras innehåll raderas snabbt utan spår. Detta har gjort det till en utmärkt plats för kriminellt beteende att blomstra. Förra veckan reagerade politiker och polis kraftfullt och lovade att utreda dessa brott och ställa förövarna inför rätta. På måndagen meddelade Seouls nationella polismyndighet att de kommer att undersöka Telegram angående dess roll i att möjliggöra distribution av falska pornografiska bilder av barn. Appens grundare, Pavel Durov, anklagades i Frankrike förra veckan för att ha varit medskyldig till ett antal brott relaterade till appen, inklusive att möjliggöra delning av barnpornografi. Men kvinnorättsaktivister anklagar myndigheterna i Sydkorea för att tillåta sexuella övergrepp på Telegram att sjuda okontrollerat för länge, eftersom Korea har stått inför denna kris tidigare. 2019 visade det sig att en sexring använde Telegram för att tvinga kvinnor och barn att skapa och dela sexuellt explicita bilder av sig själva. Polisen bad då Telegram om hjälp med deras utredning, men appen ignorerade alla deras sju förfrågningar. Även om huvudmannen så småningom dömdes till mer än 40 års fängelse vidtogs inga åtgärder mot plattformen, på grund av rädsla för censur. ”De dömde huvudaktörerna men försummade annars situationen, och jag tror att detta har förvärrat situationen.” sa Ko.Chat-grupper som dessa erbjuder sig att skapa djupfalska bilder. Den nedersta noterar att ”om du begär att någon ska bli förödmjukad (djupförfalskad), kommer vi att göra det” Park Jihyun, som, som en ung studentjournalist, avslöjade den N:e rummets sexring redan 2019, har sedan dess blivit en politisk förespråkare för offer för digitala sexbrott. Hon sa att sedan deepfake-skandalen bröt ut har elever och föräldrar ringt henne flera gånger om dagen och gråtit. ”De har sett sin skola på listan som delas på sociala medier och är livrädda.” Ms Park har lett uppmaningar till regeringen att reglera eller till och med förbjuda appen i Sydkorea. ”Om dessa teknikföretag inte kommer att samarbeta med brottsbekämpande myndigheter, då måste staten reglera dem för att skydda sina medborgare”, sa hon. Innan den senaste krisen exploderade, märkte Sydkoreas Advocacy Center for Online Sexual Abuse victims (ACOSAV) redan en en kraftig ökning av antalet minderåriga offer för djupfalsk pornografi. År 2023 rådgav de 86 tonårsoffer. Det hoppade till 238 bara under de första åtta månaderna i år. Bara under den senaste veckan har ytterligare 64 tonårsoffer kommit fram. En av centrets ledare, Park Seonghye, sa att hennes personal under den senaste veckan hade översvämmats med samtal och arbetade dygnet runt. ”Det har varit en fullskalig nödsituation för oss, som en situation i krigstid”, sa hon. ”Med den senaste deepfake-tekniken finns det nu så mycket mer filmmaterial än det brukade vara, och vi är oroliga att det bara kommer att öka.” Förutom att ge råd till offer spårar centret upp skadligt innehåll och arbetar med onlineplattformar för att få det borttaget. Ms Park sa att det hade funnits några fall där Telegram hade tagit bort innehåll på deras begäran. ”Så det är inte omöjligt”, noterade hon. I ett uttalande sa Telegram till BBC att dess moderatorer ”proaktivt övervakar offentliga delar av appen, använder AI-verktyg och accepterar användarrapporter för att ta bort miljontals delar av innehåll varje dag som bryter mot appen. Telegrams användarvillkor”.Medan kvinnorättsorganisationer accepterar att ny AI-teknik gör det lättare att utnyttja offer, hävdar de att detta bara är den senaste formen av kvinnohat som kan spelas online i Sydkorea. Först utsattes kvinnor för vågor av verbala övergrepp på nätet. Sedan kom spionkameraepidemin, där de filmades i hemlighet med hjälp av offentliga toaletter och omklädningsrum.” Grundorsaken till detta är strukturell sexism och lösningen är jämställdhet mellan könen”, löd ett uttalande undertecknat av 84 kvinnogrupper. Detta är en direkt kritik av landets president Yoon Suk Yeol, som har förnekat förekomsten av strukturell sexism, skar ned finansieringen till stödgrupper för offer och avskaffar regeringens jämställdhetsministerium.Getty ImagesLee Myung-hwa, som behandlar unga sexualförbrytare, gick med på att även om utbrottet av Deepfake missbruk kan tyckas plötsligt, det hade länge lurat under ytan ”För tonåringar har deepfakes blivit en del av deras kultur, de ses som ett spel eller ett spratt”, sa rådgivaren, som driver Aha Seoul Youth Cultural. Centre. Lee sa att det var ytterst viktigt att utbilda unga män och citerade forskning som visar att när man berättar för förövare exakt vad de har gjort fel, blir de mer medvetna om vad som räknas som sexuella övergrepp, vilket hindrar dem från att begå brott igen. Samtidigt har regeringen sa att det kommer att öka straffstraffet för dem som skapar och delar djupfalska bilder, och kommer också att straffa de som ser pornografin. Det följer på kritiken att inte tillräckligt många förövare straffades. En av frågorna är att majoriteten av lagöverträdarna är tonåringar, som vanligtvis ställs inför rätta i ungdomsdomstolar, där de får mildare straff. Sedan chattrummen avslöjades har många stängts, men nya kommer nästan säkert att ta deras plats. Ett förnedringsrum har redan skapats för att rikta in sig på journalisterna som täcker den här historien. Ms Ko, som berättade nyheten, sa att detta hade gett henne sömnlösa nätter. ”Jag kollar hela tiden i rummet för att se om mitt foto har laddats upp”, sa hon. Sådan oro har spridit sig till nästan alla tonårsflickor och unga kvinnor i Sydkorea. Ah-eun, universitetsstudenten, sa att det hade gjort henne misstänksam mot sina manliga bekanta. ”Jag kan nu inte vara säker på att folk inte kommer att begå dessa brott bakom min rygg, utan att jag vet,” sa hon. ”Jag har blivit hypervaksam i all min interaktion med människor, vilket inte kan vara bra.” Ytterligare rapportering av Hosu Lee och Suhnwook Lee