De farlige anbefalingene

Instagram lovte for et halvt år siden å stoppe teknologi som gjør at kontoer med skadelig innhold blir anbefalt til andre. Men det løftet har de ikke holdt.

NRK har de siste ukene, på innsiden av et skjult nettverk av selvskading og selvmordsforsøk blant norske jenter, kartlagt hvordan teknologien heller sørger for at de deprimerte og syke jenten finner hverandre.

Dette er bare ett eksempel av utallige NRK har dokumentert.

Instagram er del av et selskap som tjener over 200 milliarder kroner i året. I begynnelsen av september fikk giganten innsyn i deler av NRKs gransking og hovedfunn. En måned senere stiller Karina Newton, toppsjef for Instagrams retningslinjer, opp til et sjeldent intervju i New York. Hun tar funnene svært alvorlig.

– Dette er hjerteskjærende og tragisk. Min medfølelse går ut til familiene og venner som er berørt. Det er Instagram sitt ansvar at plattformen er trygg og at folk opplever å få støtte her hvis de sliter.

Vil ikke ta ansvar

NRK har avdekket et skjult miljø på Instagram der hundrevis av norske jenter deler bilder og video av selvskading og gjentatte selvmordsforsøk. 15 norske jenter knyttet til dette miljøet har på få år tatt sitt eget liv. Og miljøet er ikke vanskelig å finne.

Til tross for at både pårørende til jenter som har tatt sitt eget liv og fagfolk NRK har vært i kontakt med beskriver nettverket som et farlig ekkokammer, vil ikke Instagram ta ansvar for selvmordene knyttet til deres plattform.

– Det er ikke opp til meg å bedømme. Jeg kjenner ikke familiene deres, og jeg kjenner ikke situasjonen eller hva som foregikk i livene deres. Dette er et mer nyansert og komplisert problem, sier Newton.

– Jeg kjenner et stort ansvar for at Instagram skal være et trygt sted, sier hun.

Det siste halve året har Instagram jobbet for å fjerne skadelig innhold på plattformen, etter press fra blant annet den britiske helseministeren. Ved hjelp av teknologi som fanger opp selvskading er en stor mengde bilder og videoer fjernet.

Men skadelig innhold i Norge, som gjentatte selvmordsforsøk blant unge jenter, er ikke fjernet. Det fanger ikke teknologien opp.

Årsaken er at de norske jentene ofte legger ut ganske harmløse bilder fra hverdagene sine, med tekst om at de vil ta sitt eget liv. Kombinasjonen mellom tekst og bilde er vanskelig for maskiner å oppdage og fjerne – til tross for at slike innlegg strider mot Insstagrams egne retningslinjer.

Når nettverk bygges

NRK opprettet i vinter to research-kontoer på Instagram. Kontoene inneholder harmløse, men depressive innlegg. Formålet er å undersøke hvor fort plattformens teknologi tar slike brukere med til et stadig mørkere og potensielt farlig miljø.

NRK kommuniserer ikke direkte med noen, men ved å sende og godta flere følgeforespørsler, får kontoene i løpet av bare to uker over 100 likesinnede følgere fra en rekke land.

Brukerne Instagram foreslår at NRK skal følge, legger på denne tida ut selvmordstanker og detaljerte bilder av alvorlig selvskading. Men NRKs profiler fører oss ikke nærmere det skjulte norske nettverket. Det er svært lukket, og NRKs kontoer blir dermed ikke brukt blant de norske jentene.

Tilgang til kilder på innsiden av det norske miljøet derimot, lot etter hvert NRK i detalj få se og dokumentere hva som blir publisert i nettverket over tid. Granskingen avdekker ikke bare skadelig innhold i et lukket rom, men også hvordan Instagrams teknologi sørger for at nettverk som dette skapes og opprettholdes.

De farlige forslagene

I løpet av to tilfeldig valgte uker i september legger norske jenter i nettverket ut minst 50 meldinger om at de vil dø. Ved å analysere kontoer som Instagram anbefaler, ser vi i den samme perioden at disse kontoene ofte kommer opp som forslag på profiler som andre sårbare jenter i det skjulte nettverket kan følge.

De trenger ikke lete engang: Forslagene til det verste innholdet dukker opp direkte i innholdsstrømmen deres.

–Vi vil ikke anbefale kontoer som vi vet er suicidale eller inneholder selvskading. Men vi må vite om dem hvis vi skal kunne stoppe disse anbefalingene, sier Karina Newton i Instagram.

Men de norske jentene rapporterer ikke hverandres kontoer til Instagram. Innad i miljøet er det en uskreven regel om at det gjør man ikke.

Mer teknologi

Selskapet sier til NRK at de har investert i teknologi som skal kunne fange opp skadelig innhold uten at det er blitt rapportert. Men det tar tid å lære opp maskiner til å gjenkjenne skadelig innhold, understreker Newton.

– Det er ikke bare å trykke på en knapp. Vi ønsker å skape et positivt miljø, så folk kan finne støtte hos andre som kanskje også sliter. Det er ikke vår hensikt å skape et usunt miljø.

Det er lov å snakke om selvmord på Instagram. Men det er i strid med reglene å fremme eller oppfordre til det, for eksempel ved å omtale metode. Det gjør de norske jentene ofte. Plattformen vil ikke skjerpe inn disse reglene og forby alle innlegg om selvmord.

– Vi har absolutt vurdert å forby innhold relatert til selvmord og selvskading. Rådene vi har fått fra våre eksperter er nei. Det ville være et skritt tilbake. Folk trenger et sted å være, de trenger et sted hvor de kan søke hjelp, sier toppsjefen.

Senest denne uka strammet Instagram inn på reglene over hva slags bilder som er lov å legge ut dersom brukere har selvmordstanker. Regelendringen ble framskyndet etter NRKs avsløringer denne uka. Selskapet vil fra nå av også jobbe for å fjerne illustrasjoner og tegninger som symboliserer selvmord.

Men når NRK legger fram en rekke anonymiserte selvmordsmeldinger fra det skjulte norske nettverket, innrømmer selskapet at den nye teknologien ikke vil fange opp innlegg av denne typen.

– Disse innleggene kommer nok til å være vanskelig for oss å finne. Hvis noen rapporterer dem til oss, kan vi finne dem, sier Newton når hun får se innleggene.

Ikke mennesker

Med nesten en milliard brukere verden over, mener Instagram det er umulig å bruke mennesker til å moderere skadelig innhold i det skjulte nettverket som det NRK har avdekket.

– Du kan forestille deg mengden innhold som legges ut på plattformen vår. Det er praktisk umulig å bruke moderatorer til å overvåke alt som legges ut, gitt mengden av brukere vi har, sier Newton.

Samtidig legger selskapet mye av ansvaret over på brukerne selv, og oppfordrer alle til å rapportere innhold som kan påvirke negativt. Så skal de gjøre plattformen tryggere.

– Har dere kontroll?

– Vårt arbeid blir aldri ferdig. Det er ingen enkle svar på disse utfordringene, men jeg synes vi har gjort vårt beste på en ansvarlig og gjennomtenkt måte.

Les også: Ingebjørg (22) er livvakt for unge jenter på skjult nettverk

Det skjulte nettverket

Slik er det hemmelige Instagram-nettverket på innsiden