– Dette gjør jeg med tanke på det somaliske folket og den situasjonen de nå lever i, sier Mohamed til nyhetsbyrået Reuters i hovedstaden Mogadishu søndag.
Avgjørelsen er i tråd med en avtale som er inngått mellom landets president og nasjonalforsamlingens leder.
Forslaget har skapt protester i landet blant Mohameds tilhengere.
– Jeg vil takke de som har hjulpet til i arbeidet for å bedre sikkerheten i Somalia, sa Mohamed.
Mohamed, som er utdannet diplomat i USA, har et rykte på seg for å være en ærlig mann. Han returnerte til Somalia i fjor med en intensjon om å kjempe mot korrupsjonen og kampene som har herjet i landet og innad i regjeringen.
Han forlater nå Mogadishu, men sier han fortsatt vil fungere som en støtte for regjeringen.
Årsaken til hans avgang er en hestehandel mellom landets president Sharif Sheikh Ahmed og lederen for nasjonalforsamlingen, som også trakter etter presidentjobben.
De ble nylig enige om å forlenge begges mandat med ett år, samtidig som de utsatte valget på ny nasjonalforsamling som etter planen skulle avholdes i august. For å gå med på avtalen krevde lederen for nasjonalforsamlingen, Sharif Hassan Sheikh Aden, statsministerens avgang.
President Ahmed har umiddelbart utnevnt visestatsminister, Abdi Weli som fungerende statsminister til en ny leder av regjeringen er utnevnt.
Den nye administrasjonen har vært på kanten av oppløsning siden august i fjor.