Hopp til innhold

Chat GPT svarar dårlegare enn før, viser studie

«Alle» trudde den kunstige intelligensen skulle bli betre og betre, men mange opplever at tilgangen til teknologien er blitt dårlegare. Kvifor det er sånn, veit berre dei som står bak han, seier KI-forsker.

Chat GPT

Fleire meiner tenesta Chat GPT har vorte verre dei siste månadene.

Foto: Shutterstock

Det er umogleg å vite kva som har skjedd med chatGPT, ikkje forskarar eller dei som bruker språkmodellen veit kvifor han tilsynelatande har blitt dårlegare. I mellomtida kan vi berre spekulere seier Inga Strumke. Ho forskar sjølv på kunstig intelligens (KI) ved NTNU.

– Chat GPT har fått stor makt i liva våre samtidig som vi er makteslause mot eventuelle endringar. Og det tragikomiske oppi det heile er at vi ikkje anar kvifor kvaliteten har falle.

Inga Strümke har lese den nye forskinga gjort av universitetet i Stanford, og seier at testane som utført her kun er delvis egna til å sei noke om kor god ein språkmodell, som ChatGPT, er.

Inga Strümke

KI-forskar ved NTNU i Trondheim Inga Strümke.

Foto: Ine Julia Rojahn Schwebs / NRK

Forskinga frå Standford stadfestar nemleg det fleire har mistenkt: At kunstig intelligens-verktøyet Chat GPT har blitt dårlegare.

Blitt dårlegare på tre månadar

Forskarane ved Stanford skal ha utført to identiske testar av Chat GPT på to ulike tidspunkt. Første var i mars, medan den andre vart gjennomført i juni for å sjekke om resultatet ville endre seg på tre månadar.

Chatboten fekk mellom anna i oppgåve å løyse matematiske problem, svare på upassande spørsmål og kjenne att visuelle mønster.

OPENAI-CHATGPT

Chat GPT vart den raskaste teknologien nokosinne til å nå 100 millionar brukarar. No har verktøyet blitt dårlegare.

Foto: REUTERS

Resultatet viste store forskjellar mellom mars og juni, der den sist gjennomførte evalueringa viste eit vesentleg dårlegare resultat.

Kortvarig magi

Chat GPT tok verda med storm då det vart lansert november i fjor. Men kjensla av magi vart kortvarig. Ikkje lenge etter lanseringa kom problema.

Les også: 1 av 5 elever bruker ChatGPT til skolearbeid

Tre jenter sitter ved siden av hverandre på en benk, bak dem er en lysrød-farget murvegg. Jentene smiler bredt, det ser ut som de ler, og jenta ytterst til høyre holder rundt jenta i midten.
Tre jenter sitter ved siden av hverandre på en benk, bak dem er en lysrød-farget murvegg. Jentene smiler bredt, det ser ut som de ler, og jenta ytterst til høyre holder rundt jenta i midten.

Her heime vart utdanningssektoren tvinga til å tenke nytt og i Hollywood frykta skodespelarar for jobbane sine.

Ikkje minst blåste frammarsjen av kunstig intelligens nytt liv i redselen om at teknologien ville bli så bra at det potensielt kan truge eksistensen til mennesket.

Les også: Skue­spillerne frykter å tape kon­kurransen om jobbene – mot «seg selv»

KJENTE FJES: Ellen Burstyn, Jessica Chastain og Christine Baranski er blant de profilerte skuespillerne som har stilt opp personlig under streiken.
KJENTE FJES: Ellen Burstyn, Jessica Chastain og Christine Baranski er blant de profilerte skuespillerne som har stilt opp personlig under streiken.

Verktøyet er elska og hata, men om vi vil eller ikkje, har Chat GPT påverka oss og blitt ein stor del av samfunnet. Det synest Strümke kan vere skummelt.

– Når teknologien vi har gjort oss avhengige av blir dårlegare, merkar vi kor sårbare vi er.

Open AI: – Legg merke til meir

Nøyaktig kvifor verktøyet svarte dårlegare i juni, veit ikkje forskarane. Selskapet bak teknologien, Open AI, held nemleg forretningshemmelegheitene tett til brystet.

Sjølv svarer dei at dei ikkje har gjort noko for å gjere modellen dummare.

Dei meiner heller at brukarane truleg legg merke til meir når dei har gjort seg meir avhengig av det.

Skjermdump fra Twitter viser svar fra Open AI.

Peter Welinder er visepresident for produkt og samarbeid i Open AI, og svarer om klaga mot selskapet.

– Kan ha stilt dumme spørsmål

KI-forskar Strümke trur på si side at brukarane får tilgang til ein mindre versjon av Chat GPT.

– Regnekraftmessig er det lettare å ha tilgang til ein liten språkmodell enn ein stor modell. Og dei store er naturlegvis betre enn dei små.

Dette kan ha blitt tatt i bruk fordi det mellom anna brukar mindre maskinkraft og kostar mindre pengar.

KI-forskaren trur ein anna, litt mindre sannsynleg faktor også kan ha spelt inn:

– Vi kan jo spekulere i at folk har gitt så mange elendige tilbakemeldingar og stilt så mange dumme spørsmål at det faktisk har forvirra chatboten. Så har kanskje ikkje Open AI gjort gode nok sjekkar før dei lét bota trene vidare.

Forskarane frå Stanford skal ha tilrådd Open AI å teste språkmodellane hyppigare for å førebygge og eventuelt fange opp feil.

ENDRINGSLOGG, 5/9-23, kl. 14:06: Vi har presisert sitatene fra Strumke slik at det blir tydeligere at hverken forskere eller de som bruker språkmodellen vet hvorfor den tilsynelatende har blitt dårligere.

Kulturstrøm

  • Nye retningslinjer frå Riksantikvaren

    Riksantikvaren har gitt ut nye retningslinjer for installasjon av solceller på verneverdige bygningar. Det gir håp for dei som ønskjer å kombinere solenergi og kulturarv. – Detter ikkje motstridande konsept, seier sjefen i Solcellespesialisten til Fremtidens Byggenæring.