Varför algoritmer visar våld mot pojkar

BBCCai säger att våldsamt och störande material dök upp i hans flöden ”från ingenstans” Det var 2022 och Cai, då 16, scrollade på sin telefon. Han säger att en av de första videorna han såg på sina sociala medier var av en söt hund. Men sedan tog det en vändning. Han säger ”från ingenstans” att han rekommenderades videor av någon som blev påkörd av en bil, en monolog från en influencer som delar kvinnofientliga åsikter och klipp av våldsamma slagsmål. Han kom på sig själv fråga – varför jag? I Dublin arbetade Andrew Kaung som analytiker på användarsäkerhet på TikTok, en roll han hade i 19 månader från december 2020 till juni 2022. Han säger att han och en kollega bestämde sig för att undersöka vilka användare i Storbritannien rekommenderades av appens algoritmer, inklusive några 16-åringar. Inte långt tidigare hade han arbetat för det konkurrerande företaget Meta, som äger Instagram – en annan av de sajter som Cai använder. När Andrew tittade på TikTok-innehållet blev han orolig när han upptäckte hur några tonårspojkar visades inlägg med våld och pornografi, och främja kvinnofientliga åsikter, säger han till BBC Panorama. Han säger att tonårsflickor i allmänhet rekommenderades mycket olika innehåll baserat på deras intressen. TikTok och andra sociala medieföretag använder AI-verktyg för att ta bort det stora flertalet av skadligt innehåll och för att flagga annat innehåll för granskning av mänskliga moderatorer, oavsett antalet synpunkter de har haft. Men AI-verktygen kan inte identifiera allt. Andrew Kaung säger att under tiden han arbetade på TikTok, skulle alla videor som inte togs bort eller flaggades till mänskliga moderatorer av AI – eller rapporterades av andra användare till moderatorer – först därefter granskas igen manuellt om de nådde en viss tröskel. Han säger att detta vid ett tillfälle var satt till 10 000 visningar eller mer. Han fruktade att detta innebar att några yngre användare exponerades för skadliga videor. De flesta stora sociala medieföretag tillåter personer som är 13 år eller äldre att registrera sig. TikTok säger att 99 % av innehållet som det tar bort för att bryta mot dess regler tas bort av AI eller mänskliga moderatorer innan det når 10 000 visningar. Det står också att det genomför proaktiva undersökningar av videor med färre än detta antal visningar. Andrew Kaung säger att han väckte oro för att tonårspojkar pressades till våldsamt, kvinnofientligt innehåll När han arbetade på Meta mellan 2019 och december 2020, säger Andrew Kaung att det var en annan problem. Han säger att även om majoriteten av videorna togs bort eller flaggades till moderatorer av AI-verktyg, förlitade sig webbplatsen på att användarna skulle rapportera andra videor när de redan hade sett dem. Han säger att han väckte oro medan han var på båda företagen, men han möttes främst av passivitet på grund, säger han, av rädsla för mängden arbete eller kostnaden. Han säger att vissa förbättringar senare gjordes på TikTok och Meta, men han säger att yngre användare, som Cai, utsattes för risker under tiden. Flera tidigare anställda från sociala medieföretag har berättat för BBC att Andrew Kaungs oro överensstämde med deras egna. kunskap och erfarenhet. Algoritmer från alla stora sociala medieföretag har rekommenderat skadligt innehåll till barn, även om det är oavsiktligt, säger brittiska tillsynsmyndigheten Ofcom till BBC. ”Företag har blundat och har behandlat barn som de behandlar vuxna.” säger Almudena Lara, Ofcoms utvecklingschef för onlinesäkerhetspolicy. ”Min vän behövde en verklighetskontroll” TikTok sa till BBC att det har ”branschledande” säkerhetsinställningar för tonåringar och sysselsätter mer än 40 000 personer som arbetar för att hålla användarna säkra. Det sa bara i år att de förväntar sig att investera ”mer än 2 miljarder dollar (1,5 miljarder pund) på säkerhet”, och av innehållet som det tar bort för att bryta mot sina regler finner det 98 % proaktivt. Meta, som äger Instagram och Facebook, säger att det har mer än 50 olika verktyg, resurser och funktioner för att ge tonåringar ”positiva och åldersanpassade upplevelser”. Cai berättade för BBC att han försökte använda ett av Instagrams verktyg och ett liknande på TikTok för att säga att han inte var intresserad av våldsamt eller kvinnofientligt innehåll – men han säger att han fortsatte att rekommenderas det. Han är intresserad av UFC – Ultimate Fighting Championship. Han kom också på att han tittade på videor från kontroversiella influencers när de skickades till honom, men han säger att han inte ville rekommenderas detta mer extrema innehåll. ”Du får bilden i huvudet och du kan inte få ut den. [It] fläckar din hjärna. Och så tänker man på det resten av dagen, säger han. Flickor han känner och som är i samma ålder har blivit rekommenderade videor om ämnen som musik och smink snarare än våld, säger han. Cai säger en av hans vänner drogs in i innehåll från en kontroversiell influencer. Samtidigt säger Cai, nu 18, att han fortfarande utsätts för våldsamt och kvinnofientligt innehåll på både Instagram och TikTok. När vi bläddrar igenom hans Instagram-rullar innehåller de en bild som gör ljuset av våld i hemmet. Den visar två karaktärer sida vid sida, varav en har blåmärken, med texten: ”My Love Language”. En annan visar en person som blir överkörd av en lastbil. Cai säger att han har märkt att videor med miljontals likes kan vara övertygande för andra unga män i hans ålder. Han säger till exempel att en av hans vänner blev dragen till innehåll från en kontroversiell influencer – och började anta kvinnofientliga åsikter. Hans vän ”tog det för långt”, säger Cai. ”Han började säga saker om kvinnor. Det är som att du måste ge din vän en verklighetskoll.” Cai säger att han har kommenterat inlägg för att säga att han inte gillar dem, och när han av misstag har gillat videor har han försökt ångra det i hopp om att det kommer att återställa algoritmer. Men han säger att han har slutat med att fler videor tar över hans flöden. Ofcom säger att sociala medieföretag rekommenderar skadligt innehåll till barn, även om det oavsiktligt så, hur fungerar egentligen TikToks algoritmer? Enligt Andrew Kaung är algoritmernas bränsle engagemang, oavsett om engagemanget är positivt eller negativt. Det kan delvis förklara varför Cais ansträngningar att manipulera algoritmerna inte fungerade. Det första steget för användare är att ange några gillar och intressen när de registrerar sig. Andrew säger att en del av innehållet som ursprungligen levererades av algoritmerna till, t.ex. en 16-åring, är baserat på preferenser de ger och preferenser för andra användare i samma ålder på en liknande plats. Enligt TikTok, Algoritmer är inte informerade om en användares kön. Men Andrew säger att de intressen som tonåringar uttrycker när de registrerar sig ofta har effekten att de delar upp dem efter könslinjer. Den före detta TikTok-anställda säger att vissa 16-åriga pojkar kan utsättas för våldsamt innehåll ”genast”, eftersom andra tonårsanvändare med liknande preferenser har uttryckt ett intresse för den här typen av innehåll – även om det bara innebär att spendera mer tid på en video som fångar deras uppmärksamhet så lite längre. De intressen som många tonårsflickor har angett i profiler han undersökt – ”popsångare, låtar, smink” – innebar att de inte rekommenderades detta våldsamma innehåll, säger han. Han säger att algoritmerna använder ”förstärkningsinlärning” – en metod där AI-system lär sig genom att trial and error – och tränar sig själva i att upptäcka beteenden mot olika videor. Andrew Kaung säger att de är designade för att maximera engagemanget genom att visa dig videor som de förväntar sig att du ska spendera längre tid på att titta på, kommentera eller gilla – allt för att få dig att komma tillbaka för mer. Algoritmen som rekommenderar innehåll till TikToks ”For You-sida”, säger han , gör inte alltid skillnad mellan skadligt och icke-skadligt innehåll. Enligt Andrew var ett av problemen han identifierade när han arbetade på TikTok att teamen som var inblandade i träning och kodning av den algoritmen inte alltid visste exakt vilken typ av videor den rekommenderade. ”De ser antalet tittare, åldern , trenden, den sortens mycket abstrakta data. De skulle inte nödvändigtvis faktiskt exponeras för innehållet”, säger den tidigare TikTok-analytikern till mig. Det var därför han och en kollega 2022 bestämde sig för att ta en titt på vilka typer av videor som rekommenderades till en rad användare, inklusive några 16-åringar. Han säger att de var oroliga över att våldsamt och skadligt innehåll delades ut till vissa tonåringar och föreslog TikTok att det skulle uppdatera sitt modereringssystem. De ville att TikTok skulle tydligt märka videor så att alla som arbetar där kunde se varför de var skadliga – extremt våld, övergrepp, pornografi och så vidare – och att anställa fler moderatorer som specialiserade sig på dessa olika områden. Andrew säger att deras förslag avvisades vid den tiden. TikTok säger att det hade specialistmoderatorer vid den tidpunkten och eftersom plattformen har vuxit har den fortsatt att anställa fler. Det sa också att det delade ut olika typer av skadligt innehåll – i vad det kallar köer – för moderatorer. Panorama: Kan vi leva utan våra telefoner? Vad händer när smartphones tas bort från barn i en vecka? Med hjälp av två familjer och massor av fjärrkameror får Panorama reda på det. Och med uppmaningar om att smartphones ska förbjudas för barn, talar Marianna Spring med föräldrar, tonåringar och insiders i sociala medieföretag för att undersöka om innehållet som skickas till deras flöden skadar dem. Se på måndag på BBC One kl. 20:00 BST (20: 30 i Skottland) eller på BBC iPlayer (endast Storbritannien) ’Be en tiger att inte äta dig’ Andrew Kaung säger att det från insidan av TikTok och Meta kändes riktigt svårt att göra de förändringar han trodde var nödvändiga. ”Vi frågar en privat företag vars intresse är att marknadsföra sina produkter för att moderera sig, vilket är som att be en tiger att inte äta dig”, säger han. Han säger också att han tror att barns och tonåringars liv skulle bli bättre om de slutade använda sina smartphones. Cai, att förbjuda telefoner eller sociala medier för tonåringar är inte lösningen. Hans telefon är en integrerad del av hans liv – ett riktigt viktigt sätt att chatta med vänner, navigera när han är ute och går och betala för grejer. Istället vill han att sociala medieföretag ska lyssna mer på vad tonåringar inte vill se . Han vill att företagen ska göra verktygen som låter användarna ange sina preferenser mer effektiva. ”Jag tycker att sociala medieföretag inte respekterar din åsikt, så länge det tjänar dem pengar”, säger Cai till mig. I Storbritannien, en ny lag kommer att tvinga sociala medieföretag att verifiera barns ålder och stoppa sajterna som rekommenderar porr eller annat skadligt innehåll till ungdomar. Den brittiska medieregulatorn Ofcom ansvarar för att upprätthålla det. Almudena Lara, Ofcoms utvecklingschef för onlinesäkerhetspolicy, säger att även om skadligt innehåll som främst drabbar unga kvinnor – som videor som främjar ätstörningar och självskada – med rätta har varit i rampljuset, de algoritmiska vägarna som driver hat och våld till främst tonårspojkar och unga män har fått mindre uppmärksamhet. ”Det tenderar att vara en minoritet av [children] som utsätts för det mest skadliga innehållet. Men vi vet dock att när du väl utsätts för det skadliga innehållet blir det oundvikligt”, säger Lara. Ofcom säger att det kan bötfälla företag och kan väcka åtal om de inte gör tillräckligt, men åtgärderna kommer inte in. att tvinga fram till 2025. TikTok säger att de använder ”innovativ teknik” och tillhandahåller ”branschledande” säkerhets- och integritetsinställningar för tonåringar, inklusive system för att blockera innehåll som kanske inte är lämpligt, och att det inte tillåter extremt våld eller kvinnohat.Meta , som äger Instagram och Facebook, säger att det har mer än ”50 olika verktyg, resurser och funktioner” för att ge tonåringar ”positiva och åldersanpassade upplevelser”. Enligt Meta söker man feedback från sina egna team och potentiella policyändringar går igenom en robust process.