Ifølge valgkommisjonen har opposisjonsalliansen vunnet 112 plasser, mens partiet Nasjonal front fikk 76 plasser.
112 plasser innebærer at opposisjonen har sikret seg rent flertall.
Nasjonal front har hatt regjeringsmakten i Malaysia i 60 år, men velgerne har straffet partiet hardt som følge av en korrupsjonsskandale som statsminister Najib Razak anklages for å være innblandet i.
På en TV-sendt pressekonferanse sa Razak at Nasjonal front vil tre av og hedre prinsippet om demokrati.
– Jeg og mine kolleger vil tre av og akseptere folkets vilje, sa Razak, som selv har sittet som statsminister i seks år.
Fordi ingen partier vant mer enn halvparten av de 292 plassene i parlamentet, skal landets konge formelt bestemme hvem den neste statsministeren blir.
– Nasjonal front vil respektere enhver beslutning gjort av kongen, sa Razak i sin tale.
92 år gamle Mahathir Mohamad, som nå blir statsminister igjen, styrte Malaysia med jernhånd i 22 år, og var i sin tid avtroppende statsminister Najibs mentor.
Kritikk mot valggjennomføringen
Tirsdag gikk Malaysias menneskerettighetskommisjon hardt ut og kritiserte landets myndigheter og statsminister Najib for å undergrave valgsystemet ved å dele ut pengegaver.
De opplyste også om flere tilfeller der velgere skal ha blitt hindret fra å stemme.
Valgdeltakelsen ser ut til å ha vært høy, men lavere enn 85 prosent, ifølge et lokalt analyseselskap.
Korrupsjonsanklager
Korrupsjonsskandalen som trolig kostet Najib seieren, er knyttet til det statlige fondet 1MDB.
I 2016 ble Najib Razak renvasket for korrupsjon, til tross for en milliardoverføring på 5,96 milliarder kroner fra den saudiarabiske kongefamilien i 2013. Razak skal ifølge riksadvokaten ha betalt tilbake 5,43 milliarder kroner. Hvor de resterende 500 millioner kronene ble av er ikke kjent.
Mahathir, som om få dager blir landets statsminister, har brukt korrupsjonsskandalen flittig i valgkampen og hevdet at Najib ikke har tilliten som trengs for å lede landet.