”Jag modererade hundratals hemska och traumatiserande videor”

Getty Images Moderatorer i sociala medier letar efter olyckliga eller olagliga foton och videor som de sedan tar bort Under de senaste månaderna har BBC utforskat en mörk, dold värld – en värld där de allra värsta, mest skrämmande, oroande och i många fall olagliga online innehåll hamnar. Halshuggning, massmord, barnmisshandel, hatretorik – allt hamnar i inkorgarna hos en global armé av innehållsmoderatorer. Det är inte ofta du gör det se eller hör av dem – men det här är personerna vars jobb det är att granska och sedan, vid behov, radera innehåll som antingen rapporteras av andra användare eller automatiskt flaggas av tekniska verktyg. Frågan om onlinesäkerhet har blivit allt mer framträdande , med tekniska företag under mer press att snabbt ta bort skadligt material. Och trots att mycket forskning och investeringar strömmar in i tekniska lösningar för att hjälpa, är det i slutändan fortfarande till stor del mänskliga moderatorer som har sista ordet. Moderatorer är ofta anställda av tredjepartsföretag, men de arbetar med innehåll som publiceras direkt på de stora sociala nätverken inklusive Instagram, TikTok och Facebook. De är baserade runt om i världen. Människorna jag pratade med när jag gjorde vår serie The Moderators för Radio 4 och BBC Sounds, bodde till stor del i Östafrika, och alla hade sedan dess lämnat branschen. Deras berättelser var upprörande. En del av det vi spelade in var för brutalt för att sändas. Ibland avslutade jag och min producent Tom Woolfenden en inspelning och satt bara tysta. ”Om du tar din telefon och sedan går till TikTok kommer du att se många aktiviteter, dans, du vet, glada saker”, säger Mojez, en tidigare Nairobi-baserad moderator som arbetade med TikTok-innehåll. ”Men i bakgrunden modererade jag personligen, i hundratals, fruktansvärda och traumatiserande videor.” Jag tog på mig det. Låt min mentala hälsa ta stryk så att allmänna användare kan fortsätta med sina aktiviteter på plattformen.” Det finns för närvarande flera pågående rättsliga påståenden om att arbetet har förstört den mentala hälsan hos sådana moderatorer. Några av de tidigare arbetarna i Östafrika har gått samman för att bilda en fackförening. ”Det enda som är mellan att jag loggar in på en social medieplattform och tittar på en halshuggning, är att någon sitter på ett kontor någonstans och tittar på innehållet åt mig. , och granska det så att jag inte behöver det”, säger Martha Dark som driver Foxglove, en kampanjgrupp som stödjer rättsliga åtgärder. Mojez, som brukade ta bort skadligt innehåll på TikTok, säger att hans psykiska hälsa påverkades År 2020 gick Meta, då känt som Facebook, med på att betala en förlikning på 52 miljoner dollar (40 miljoner pund) till moderatorer som hade utvecklat psykiska problem på grund av sina jobb. Den rättsliga åtgärden inleddes av en före detta moderator i USA heter Selena Scola. Hon beskrev moderatorer som ”själarnas väktare”, på grund av mängden filmer som de ser innehållande de sista ögonblicken i människors liv. De före detta moderatorerna jag pratade med använde alla ordet ”trauma” när de beskrev effekten som arbetet hade på dem . En del hade svårt att sova och äta. En beskrev hur att höra ett barngråt hade fått en kollega att få panik. En annan sa att han tyckte att det var svårt att interagera med sin fru och sina barn på grund av de barnmisshandel han hade bevittnat. Jag förväntade mig att de skulle säga att det här arbetet var så känslomässigt och mentalt påfrestande att ingen människa borde behöva göra det – jag trodde att de skulle fullt ut stödja hela branschens automatisering, med AI-verktyg som utvecklades för att skala upp till jobbet. Men det gjorde de inte. Det som kom fram, mycket kraftfullt, var den enorma stolthet moderatorerna hade över roller de hade spelat för att skydda världen från onlineskada. De såg sig själva som en viktig räddningstjänst. En säger att han ville ha en uniform och ett märke och jämförde sig med en ambulanspersonal eller brandman. ”Inte ens en sekund var bortkastad”, säger någon som vi ringde till David. Han bad om att få vara anonym, men han hade arbetat med material som användes för att träna den virala AI-chatboten ChatGPT, så att det var programmerat att inte återuppstå hemskt material. ”Jag är stolt över de individer som tränade den här modellen till att bli vad den är. idag.”Martha DarkMartha Dark-kampanjer till stöd för moderatorer i sociala medier Men själva verktyget som David hade hjälpt till att träna skulle kanske en dag konkurrera med honom. Dave Willner är tidigare chef för förtroende och säkerhet på OpenAI, skaparen av ChatGPT. Han säger att hans team byggde ett rudimentärt modereringsverktyg, baserat på chatbotens teknik, som lyckades identifiera skadligt innehåll med en noggrannhetsgrad på runt 90%. ”När jag liksom helt insåg ”åh, det här kommer att fungera”, jag ärligt talat kvävdes lite, säger han. ”[AI tools] bli inte uttråkad. Och de blir inte trötta och de blir inte chockade… de är outtröttliga.” Alla är dock inte övertygade om att AI är en guldkula för den oroliga moderationssektorn. ”Jag tycker att det är problematiskt”, säger Dr Paul Reilly, universitetslektor i media och demokrati vid University of Glasgow. ”Det är klart att AI kan vara ett ganska trubbigt, binärt sätt att moderera innehåll.” Det kan leda till överblockerande yttrandefrihetsfrågor, och naturligtvis kan det missa nyanser som mänskliga moderatorer skulle kunna identifiera. Mänsklig moderering är avgörande för plattformar,” tillägger han. “Problemet är att det inte finns tillräckligt med dem, och jobbet är otroligt skadligt för dem som gör det.” Vi kontaktade också de teknikföretag som nämns i serien. En TikTok-talesman säger att Företaget vet att moderering av innehåll inte är en lätt uppgift, och de strävar efter att främja en omtänksam arbetsmiljö för de anställda. Detta inkluderar att erbjuda klinisk support och skapa program som stöder moderators välbefinnande. De tillägger att videor initialt granskas av automatiserad teknik, som de säger tar bort en stor mängd skadligt innehåll. Samtidigt säger Open AI – företaget bakom Chat GPT – att det är tacksam för det viktiga och ibland utmanande arbete som mänskliga arbetare gör för att träna AI:n att upptäcka sådana foton och videor. En talesperson tillägger att Open AI tillsammans med sina partners upprätthåller policyer för att skydda dessa teams välbefinnande. Och Meta – som äger Instagram och Facebook – säger att det kräver att alla företag som det arbetar med tillhandahåller support på plats dygnet runt med utbildade proffs . Det tilläggs att moderatorer kan anpassa sina granskningsverktyg för att sudda ut grafiskt innehåll. Moderatorerna är på BBC Radio 4 kl. 13:45 GMT, måndag 11 november till fredag ​​15 november, och på BBC Sounds. Läs fler globala affärsberättelser