Teknologiekspert: Instagrams teknologi kan i verste fall være livsfarlig

NRK fortalte i helgen om et lukket og mørkt nettverk på bildetjenesten Instagram, bestående av unge som sliter psykisk.

Gjennom sine hemmelige Instagram-kontoer trøster de hverandre, men deler også depresjon, alvorlige spiseforstyrrelser, selvskading, gjentatte selvmordsforsøk og metodene de bruker.

Minst 15 norske jenter i nettverket har i løpet av få år tatt sine egne liv.

– Instagram har algoritmer som nærmest «boler opp» denne typen nettverk, sier Petter Bae Brandtzæg, førsteamanuensis i medier og kommunikasjon ved Universitetet i Oslo og sjefforsker ved Sintef Digital. Han har forsket på bruken av sosiale medier.

– Svært problematisk og skummelt

Algoritmene - oppskriften på hvordan Instagrams teknologi skal fungere - gjør at plattformen anbefaler deg å følge andre personer som har like interesser som deg.

Er du suicidal eller utsetter deg for selvskading, kan du få forslag om å følge andre personer som legger ut tilsvarende eller verre innhold på bildedelingstjenesten.

– Algoritmene i sosiale medier støtter opp om at man skal finne likesinnede. Når det gjelder selvskading og selvmord, er det svært problematisk og skummelt. Det er overhodet ikke bra. Disse personene burde jo heller få anbefalinger om å følge noen som kan løfte dem ut av mørket. Men så får de det motsatte, sier Brandtzæg.

– Da får man det jeg ville kalt algoritmer som nærmest dreper, sier han.

Blir anbefalt å følge andre suicidale

NRK har fortalt historien om Andrine. I mars for to år siden tok hun livet sitt, bare 17 år gammel. Hun var lenge en av de mest aktive i det lukkede nettverket, selv inn i sin siste time.

Gjennom hennes konto kan NRK følge med på hvilke personer brukeren hennes blir anbefalt å følge av Instagram. Blant dem er det flere som nylig har lagt ut selvmords-relatert innhold.

Med flere hundre millioner Instagram-brukere hver dag verden over, kan det være vanskelig å fange opp alt som legges ut, påpeker Brandtzæg, og etterlyser bedre moderering fra bildetjenesten.

Han mener Instagram må ansette mennesker for å følge med på innholdet som publiseres, og ikke bare la datamaskiner gjøre jobben.

– Man trenger både maskiner og mennesker som jobber sammen, for å moderere en så viktig plattform som Instagram. Det nytter ikke å bare lene seg på maskinene. De er absolutt ikke gode nok. Teknologien mangler rett og slett menneskelige egenskaper som sunn fornuft og evnen til å forstå kontekst, sier Brandtzæg.

NRK viser ham bilder som er lagt ut av suicidale jenter på bildetjenesten. Bilder som Instagram bekrefter overfor NRK at det kan være vanskelig for dem å fange opp.

– Her er for eksempel et bilde av togskinner. En maskin vil jo aldri forstå at konteksten her er å ta livet sitt. Den vil kanskje forbinde det med en reise, med et tog, men ikke med å ta livet sitt. Men et menneske som leser teksten under bildet, vil forstå det umiddelbart, sier Brandtzæg.

Instagram: Avhengig av at andre varsler

Instagram baserer seg i stor grad på maskinlæring. De programmerer maskiner til å automatisk fange opp visse bilder som bryter med selskapets retningslinjer.

Problemet oppstår når et tilsynelatende harmløst bilde av eksempelvis togskinner legges ut, uten at datamaskinen tar hensyn til konteksten og teksten som følger bildet.

– Vi er en bildebasert plattform og konsentrerer oss derfor i hovedsak om bildene, sier for Instagrams retningslinjer Karina Newton i et intervju med NRK.

Menneskelige moderatorer kommer inn i bildet først når det er snakk om å gjennomgå innhold som andre brukere har fanget opp og rapportert inn.

Men den indre justisen i det lukkede Instagram-nettverket er hard. Det er en selvpålagt taushetsplikt. Tyster du, til for eksempel behandlere eller politiet, om det du har sett andre legge ut på nettet, risikerer du å bli frosset ut.

– Vi mener maskinlæring er den beste måten å finne innhold som kan være skadelig for folk. Men vi er også avhengige av at folk som ser det som er publisert, og som har en forståelse for konteksten og personen som har lagt det ut, rapporterer innholdet, sier Newton.

– Dessverre er det ikke bare å trykke på en knapp. Dette er noe som tar tid, og det har vi sagt tydelig, sier hun.

– Vi ønsker å skape et sted hvor folk kan finne støtte, men intensjonen er ikke å holde liv i usunne nettsamfunn.

– Vi vil gjøre alt vi kan

I februar i år ble det kjent at Instagram skjerper reglene for bilder som viser selvskading. Det skjedde etter at en 14 år gammel britisk jente tok livet sitt i 2017. Hun hadde fulgt flere Instagram-kontoer der det ble lagt ut innlegg om depresjon og selvmord.

Saken vakte voldsomme reaksjoner og fikk Storbritannias helseminister til å engasjere seg og kreve tiltak for hvordan medieplattformer bedre kan ivareta den psykiske helsen til tenåringer som bruker plattformene.

Den gang lovet Instagram også å skjerpe de nevnte anbefalingsalgoritmene, men NRKs gransking viser at unge jenter i det lukkede nettverket som sliter med selvmordstanker, fortsatt blir anbefalt å følge andre som sliter med det samme.

Instagrams kommunikasjonssjef i London, Sinead Purcell, sier at endringene i februar har gjort at færre kontoer med det hun kaller problematisk innhold blir anbefalt til andre brukere.

– Vi forventer å finne mer problematisk innhold og flere slike kontoer etterhvert som datamaskinene våre forbedres over tid. I tillegg vil nettsamfunnet vårt rapportere innhold som de ikke synes skal være på Instagram. Dette er en av våre hovedprioriteringer, og vi vil gjøre alt vi kan for å hindre at brukerne våre blir eksponert for potensielt skadelige kontoer og innhold, skriver hun i en e-post til NRK.