De farlige anbefalingene

– Vi har gjort vårt beste, sier Instagram i et sjeldent intervju med NRK. Det mektige selskapet vil ikke ta ansvar for at minst 15 norske jenter har tatt sitt eget liv etter å ha vært med i et skjult nettverk på deres plattform.

Trigger-warning-banner

Instagram lovte for et halvt år siden å stoppe teknologi som gjør at kontoer med skadelig innhold blir anbefalt til andre. Men det løftet har de ikke holdt.

NRK har de siste ukene, på innsiden av et skjult nettverk av selvskading og selvmordsforsøk blant norske jenter, kartlagt hvordan teknologien heller sørger for at de deprimerte og syke jenten finner hverandre.

Illustrasjonen viser nå: Et stort rødt Instagram-følgerikon er i bildet. Flere hodeskalle-emojier glir sakte ut fra ikonet.
Ei ung jente tar en overdose, men overlever. De neste dagene legger hun ut mange meldinger om at hun vil dø - og prøver igjen.
Illustrasjonen viser nå: Nettverkstråder strekker seg ut fra følgerikonet til andre følgere, og danner et nettverk der man ser at brukerne følger hverandre.
Samtidig blir jentas konto anbefalt igjen og igjen, til stadig flere psykisk syke jenter i det skjulte nettverket.
Illustrasjonen viser nå: Alle ikonene og nettverkstrådene organiserer seg i en sirkel rundt hovedikonet som var der fra starten av.
Dette skyldes Instagrams teknologi. NRK kan avsløre at den jobber iherdig for å finne «passende» innhold - til tross for at innholdet på kontoen hennes er både skadelig og strider i mot Instagrams egne regler.

Dette er bare ett eksempel av utallige NRK har dokumentert.

Instagram er del av et selskap som tjener over 200 milliarder kroner i året. I begynnelsen av september fikk giganten innsyn i deler av NRKs gransking og hovedfunn. En måned senere stiller Karina Newton, toppsjef for Instagrams retningslinjer, opp til et sjeldent intervju i New York. Hun tar funnene svært alvorlig.

– Dette er hjerteskjærende og tragisk. Min medfølelse går ut til familiene og venner som er berørt. Det er Instagram sitt ansvar at plattformen er trygg og at folk opplever å få støtte her hvis de sliter.

Bilde av Karina Newton, toppsjef for Instagrams retningslinjer; og journalist Anne Marte Moland. De sitter i et møterom og prater.

Vil ikke ta ansvar

NRK har avdekket et skjult miljø på Instagram der hundrevis av norske jenter deler bilder og video av selvskading og gjentatte selvmordsforsøk. 15 norske jenter knyttet til dette miljøet har på få år tatt sitt eget liv. Og miljøet er ikke vanskelig å finne.

Til tross for at både pårørende til jenter som har tatt sitt eget liv og fagfolk NRK har vært i kontakt med beskriver nettverket som et farlig ekkokammer, vil ikke Instagram ta ansvar for selvmordene knyttet til deres plattform.

– Det er ikke opp til meg å bedømme. Jeg kjenner ikke familiene deres, og jeg kjenner ikke situasjonen eller hva som foregikk i livene deres. Dette er et mer nyansert og komplisert problem, sier Newton.

– Jeg kjenner et stort ansvar for at Instagram skal være et trygt sted, sier hun.

Det siste halve året har Instagram jobbet for å fjerne skadelig innhold på plattformen, etter press fra blant annet den britiske helseministeren. Ved hjelp av teknologi som fanger opp selvskading er en stor mengde bilder og videoer fjernet.

Men skadelig innhold i Norge, som gjentatte selvmordsforsøk blant unge jenter, er ikke fjernet. Det fanger ikke teknologien opp.

Årsaken er at de norske jentene ofte legger ut ganske harmløse bilder fra hverdagene sine, med tekst om at de vil ta sitt eget liv. Kombinasjonen mellom tekst og bilde er vanskelig for maskiner å oppdage og fjerne – til tross for at slike innlegg strider mot Insstagrams egne retningslinjer.

Når nettverk bygges

NRK opprettet i vinter to research-kontoer på Instagram. Kontoene inneholder harmløse, men depressive innlegg. Formålet er å undersøke hvor fort plattformens teknologi tar slike brukere med til et stadig mørkere og potensielt farlig miljø.

NRK kommuniserer ikke direkte med noen, men ved å sende og godta flere følgeforespørsler, får kontoene i løpet av bare to uker over 100 likesinnede følgere fra en rekke land.

Brukerne Instagram foreslår at NRK skal følge, legger på denne tida ut selvmordstanker og detaljerte bilder av alvorlig selvskading. Men NRKs profiler fører oss ikke nærmere det skjulte norske nettverket. Det er svært lukket, og NRKs kontoer blir dermed ikke brukt blant de norske jentene.

Karina Newton om skjult nettverk på Instagram

Tilgang til kilder på innsiden av det norske miljøet derimot, lot etter hvert NRK i detalj få se og dokumentere hva som blir publisert i nettverket over tid. Granskingen avdekker ikke bare skadelig innhold i et lukket rom, men også hvordan Instagrams teknologi sørger for at nettverk som dette skapes og opprettholdes.

De farlige forslagene

I løpet av to tilfeldig valgte uker i september legger norske jenter i nettverket ut minst 50 meldinger om at de vil dø. Ved å analysere kontoer som Instagram anbefaler, ser vi i den samme perioden at disse kontoene ofte kommer opp som forslag på profiler som andre sårbare jenter i det skjulte nettverket kan følge.

De trenger ikke lete engang: Forslagene til det verste innholdet dukker opp direkte i innholdsstrømmen deres.

–Vi vil ikke anbefale kontoer som vi vet er suicidale eller inneholder selvskading. Men vi må vite om dem hvis vi skal kunne stoppe disse anbefalingene, sier Karina Newton i Instagram.

Men de norske jentene rapporterer ikke hverandres kontoer til Instagram. Innad i miljøet er det en uskreven regel om at det gjør man ikke.

 Bilde av Karina Newton, toppsjef for Instagrams retningslinjer. Hun står i en gang, og i bakgrunnen det et kontor med ansatte som jobber. Ansiktsuttrykket er nøytralt.

Mer teknologi

Selskapet sier til NRK at de har investert i teknologi som skal kunne fange opp skadelig innhold uten at det er blitt rapportert. Men det tar tid å lære opp maskiner til å gjenkjenne skadelig innhold, understreker Newton.

– Det er ikke bare å trykke på en knapp. Vi ønsker å skape et positivt miljø, så folk kan finne støtte hos andre som kanskje også sliter. Det er ikke vår hensikt å skape et usunt miljø.

Det er lov å snakke om selvmord på Instagram. Men det er i strid med reglene å fremme eller oppfordre til det, for eksempel ved å omtale metode. Det gjør de norske jentene ofte. Plattformen vil ikke skjerpe inn disse reglene og forby alle innlegg om selvmord.

– Vi har absolutt vurdert å forby innhold relatert til selvmord og selvskading. Rådene vi har fått fra våre eksperter er nei. Det ville være et skritt tilbake. Folk trenger et sted å være, de trenger et sted hvor de kan søke hjelp, sier toppsjefen.

Senest denne uka strammet Instagram inn på reglene over hva slags bilder som er lov å legge ut dersom brukere har selvmordstanker. Regelendringen ble framskyndet etter NRKs avsløringer denne uka. Selskapet vil fra nå av også jobbe for å fjerne illustrasjoner og tegninger som symboliserer selvmord.

Men når NRK legger fram en rekke anonymiserte selvmordsmeldinger fra det skjulte norske nettverket, innrømmer selskapet at den nye teknologien ikke vil fange opp innlegg av denne typen.

– Disse innleggene kommer nok til å være vanskelig for oss å finne. Hvis noen rapporterer dem til oss, kan vi finne dem, sier Newton når hun får se innleggene.

Bilde av at Instagram selv filmer med et mobilkamera under intervjuet.

Instagram filmer at NRK filmer intervjuet med Karina Newton. Også toppsjefen for Facebook Norden Peter Münster er i kulissene, samt to kommunikasjonsansvarlige.

Ikke mennesker

Med nesten en milliard brukere verden over, mener Instagram det er umulig å bruke mennesker til å moderere skadelig innhold i det skjulte nettverket som det NRK har avdekket.

– Du kan forestille deg mengden innhold som legges ut på plattformen vår. Det er praktisk umulig å bruke moderatorer til å overvåke alt som legges ut, gitt mengden av brukere vi har, sier Newton.

Samtidig legger selskapet mye av ansvaret over på brukerne selv, og oppfordrer alle til å rapportere innhold som kan påvirke negativt. Så skal de gjøre plattformen tryggere.

– Har dere kontroll?

– Vårt arbeid blir aldri ferdig. Det er ingen enkle svar på disse utfordringene, men jeg synes vi har gjort vårt beste på en ansvarlig og gjennomtenkt måte.

Les også: Ingebjørg (22) er livvakt for unge jenter på skjult nettverk

Journalist Annemarte Moland og Karina Newton er i Instagrams lokaler, og står foran noen skjermer som viser bilder av ulike personer.

Har du behov for å snakke med noen etter å ha lest denne saken?

  • Kirkens SOS hjelpetelefon: 22 40 00 40
  • Mental helses hjelpetelefon: 116 123
  • Chattetjeneste fra Kirkens SOS: soschat.no
Hvordan påvirker unge med selvmordstanker hverandre på sosiale medier? Vilde utforsker et lukket nettverk av unge som deler fra sin vonde hverdag.

Hvordan påvirker unge med selvmordstanker hverandre på sosiale medier? Vilde utforsker et lukket nettverk av unge som deler fra sin vonde hverdag.

Hvorfor åpner unge med selvmordstanker seg Instagram? Vilde leter etter svar på hva hjelpeapparatet gjør feil i møte med unge som sliter psykisk.

Hvorfor åpner unge med selvmordstanker seg Instagram? Vilde leter etter svar på hva hjelpeapparatet gjør feil i møte med unge som sliter psykisk.