Laget fra nivå fire det engelske seriesystemet vant 1-0 over Burnley, etter scoring av Matthew Person i det siste minuttet av annen ekstraomgang.
Den norske 24-åringen har ikke fått prøve seg i Premier League foreløpig, men fikk sesongens første minutter i ligacupen.
Ulvestad startet på midtbanen for et redusert Burnley-lag, sammen med blant andre den islandske EM-helten Johann Berg Gudmundsson.
Nordmannen pådro seg et gult kort for en sen takling, elleve minutter før slutt.
Ulvestad fikk fem opptredener for Burnley i den engelske mesterskapsserien i fjor, fire av dem som innbytter. Joshua King var ikke i troppen til Bournemouth, som slo Morecambe 2-1 på bortebane etter scoringer av Max Gradel og Marc Wilson.
Også Premier League-klubben Middlesbrough er ut av ligacupen, etter tapet 1-2 borte, for mesterskapsserielaget Fulham.