264 av de 342 representantene i nasjonalforsamlingens underhus stemte på Gilani fra Pakistans folkeparti (PPP).
Den eneste utfordreren, Chaudry Pervez Elahi fra partiet PML-Q, som støtter president Pervez Musharraf, fikk 42 stemmer.
Flere representanter avsto fra å stemme.
Gilani er nestleder i PPP og har tidligere vært president i nasjonalforsamlingen. Han var en nær medarbeider av Benazir Bhutto, som ble drept i et attentat i desember i fjor.
Gilani skal tirsdag bli tatt i ed av president Musharraf.