Båten deres kantret like utenfor Beer Ali i den sørlige Shabwa-provinsen, heter det i uttalelsen fra myndighetene.
En båt fra den jemenittiske marinen reddet minst 30 av flyktningene som var om bord i båten, skriver AFP.
Flyktningene var afrikanske, men det er usikkert hvilket land de kom fra.
Mange afrikanere som tar seg ulovlig inn i Jemen kommer fra Etiopia og Somalia.
I 2012 kom 84.000 mennesker fra Afrikas horn til Jemen for å finne arbeid i Saudi-Arabia og nabolandene, viser tall fra International Organisation for Migration (IOM).
Les: