I tillegg til de 25 drepte personene er flere titalls mennesker såret, ifølge helsepersonell. Bomben gikk av under en bønn torsdag morgen.
Det var moskeen Balili som er kontrollert at Houthi-opprørere som ble angrepet. Opprørerne anses å være alliert med det sjiamuslimske prestestyret i Iran.
Løp ut i panikk
Ifølge vitner skal den første bomba ha gått av inne i moskeen. Den andre bomba, som var festet til beltet til en av selvmordsbomberne, gikk av ved utgangen da menneskemassen panisk forsøkte å komme seg ut av moskeen.
IS har tatt på seg ansvaret for bombingen, melder nyhetsbyrået AFP.
Flere moskeer bombet
Jemens hovedstad Sana har blitt rammet av flere bombeangrep de siste månedene. Mange av angrepene har vært rettet mot sjiamuslimske allierte, og sunnimuslimske jihadister i Den islamske staten (IS) har tatt på seg ansvaret for flere av disse.
Radikale sunnimuslimske grupper har også bombet moskeer i Kuwait og Saudi-Arabia.
Både IS og al-Qaidas fløy i Jemen har utnyttet kaoset som har oppstått i kjølvannet av borgerkrigen mellom Houthi-opprørere og regjeringshæren, som støttes av Saudi-Arabia og andre sunnimuslimske golfstater.