Karegeya var i et tiår sjef for Rwandas utenlandsetterretning, før han i 2006 falt i unåde hos president Paul Kagame.
Obersten ble først degradert til pressetalsmann for hæren i landet, før han ble fratatt rangen og fengslet.
– Kvalt av Kagames agenter
I 2007 flyktet han i eksil og slo seg ned i Sør-Afrika, og han ble senere en ledende stemme innen opposisjonsgruppen Rwandas nasjonalkongress (RNC).
Onsdag ble Karegeya funnet kvalt og drept på et hotellrom i Sandton utenfor Johannesburg, der han ifølge RNC skulle delta på et møte. Opposisjonen er ikke i tvil om hvem som sto bak drapet.
– Han ble kvalt av Kagames agenter, sier RNC-lederen Frank Ntwali.
En annen ledende opposisjonell fra Rwanda, Faustin Kayumba, overlevde i 2010 to attentat i Sør-Afrika.
RNC hevder å ha funnet overveldende beviser for at etterretningsagenter fra Rwanda sto bak, noe myndighetene i Kigalia benektet.