Mubarak kunngjorde avgangen på sin egen Facebook-side torsdag morgen, etter at Houthi-militsen hadde varslet massedemonstrasjoner i protest mot utnevnelsen.
Den sjiamuslimske militsen, som tok kontroll over hovedstaden Sana i forrige måned, hevder at utnevnelsen av Mubarak var et resultat av press fra utlandet.
Militsens leder Abdulmalik al-Houthi holdt onsdag en TV-tale der han oppfordret til protester og antydet at den nyutnevnte statsministeren om nødvendig ville bli fjernet med makt.
Jemens president Abd-Rabbu Mansour Hadi har godtatt Mubaraks avskjedssøknad, noe som har fått Houthi-militsen til å avlyse den varslede massedemonstrasjonen, melder det statlige nyhetsbyrået.
Den forrige statsministeren i Jemen, Mohammed Salem Basindwa, trakk seg i forrige måned for å bane vei for en avtale mellom Houthi-militsen og presidenten.