Han kalte selv inn til pressekonferanse i Tokyo, der han eklærte at han trekker seg.
Fukuda går av mindre enn ett år etter at han overtok som regjeringssjef.
72-åringen har vært svært upopulær i hjemlandet. Han tok over som statsminister i september i fjor, og har siden da byttet ut 13 av 17 ministere i regjeringen i håp om å bedre oppslutningen på meningsmålingene.
Fukudas koalisjonsregjering har kjempet mot en splittet nasjonalforsamling der opposisjonen kontrollerer overhuset og dermed har mulighet til å forsinke alle lovforslag som regjeringen kommer med. Den muligheten har den visst å benytte seg av.
Dessuten har Fukuda fått mye kritikk for at Japan, som er verdens nest største økonomi etter USA, nå er på full fart inn i nedgangstider.
Politisk vakuum
– Vi kan ikke lenger være i et politisk vakuum, Japan trenger et nytt team til å iverksette politikken, sa Fukuda på pressekonferansen.
Han gjorde det samtidig klart at det ikke vil bli skrevet ut nyvalg, slik opposisjonen ønsker, men at den nye statsministeren blir utpekt etter et internt valg i Fukudas parti, Det liberale demokratiske partiet, (LDP).
Ifølge politiske analytikere er LDPs generalsekretær Taro Aso den mest aktuelle kandidaten til å overta.
Ryktene om at Fukuda kom til å trekke seg, har ulmet en stund, og mange har spekulert på om han ville bli byttet ut i forkant av neste valg på ny nasjonalforsamling, som må holdes innen september neste år.
Overraskende
Men kunngjøringen kom likevel som en overraskelse på de fleste japanere.
En av årsakene til at Fukuda sliter med populariteten, er blant annet innføringen av et nytt system for sykeforsikring, som har ført til en kraftig kostnadsøkning for mange japanere og da særlig for eldre.
LDP har, med ett unntak på ti måneder, hatt regjeringsmakten sammenhengende i Japan siden partiet ble dannet i 1955. Fukuda selv overtok statsministerposten etter Shinzo Abe, som valgte å trekke seg i fjor.