Han var spesialsprinter i en tid der det ikke fantes verdenscup og distanse-VM. Derfor var det bare OL hvert fjerde år som bød på reine distansemesterskap.
Gjennombruddet kom med den sensasjonelle bronsemedaljen han vant på 500-meteren i OL i Cortina d'Ampezzo i 1956. Han suste inn til 41,0, forbedret persen med halvannet sekund og hadde bare Jevgenij Grisjin (40,2) og Rafael Gratsj (40,8) foran seg.
Han var bare 18 år og yngstemann i den norske OL-troppen den gangen. Han var også med til Squaw Valley i 1960, men var ikke helt heldig og endte på sjetteplass. Det tok han igjen i Innsbruck fire år senere da han delte sølvet med Grisjin og Vladimir Orlov. Alle fikk 40,7.
I perioden fra 1956 til 1965 vant Gjestvang 500-meteren i norgesmesterskapet sju ganger, og han ble også NM-vinner for junior i 1955. Han satte sin siste norske rekord i 1963 med 40,7 på spesialdistansen. Den sto helt til 1968. Mot slutten av karrieren var han medlem av Oslo Idrettslag (OI).