Mannen ble pågrepet i en aksjon som tok 6,5 timer å gjennomføre i provinsen Antioquia, nord i landet.
Store styrker i operasjonen
Over 500 politimenn deltok i operasjonen ledet av den colombianske politidirektøren Óscar Naranjo.
President Alvaro Uribe sitter i møter i Brasil men bekreftet arrestasjonen umiddelbart.
Det var for en og en halv uke siden, at spesialtropper fra politiet infiltrerte nærmiljøet rundt "Don Mario"i Urabá. Mannen er regnet som den øverste lederen for de nye kartellene nord i landet.
Høy pris på Rendón Herreras hode
Rendon Herrera er leder for en paramilitær gruppe med rundt tusen medlemmer og mistenkes for å stå bak store kokain-leveranser til USA. Amerikanske myndigheter har bedt om å få mannen utlevert.
Myndighetene hadde tilbudt 2 millioner dollar, vel 13 millioner kroner, til den som bidro til at Rendón Herrera ble tatt. Også 30 menn i mannens sikkerhetsnett ble arrestert i akjsonen.
Rendón Herrera var nestkommanderende i en nå ikke-eksisterende paramilitær gruppe og nektet å overgi seg som en del av en freds-avtale for tre år siden. I steden brukte han det nettverket for å bygge opp sin egen private hær.
Hans bror Freddy Rendón Herrera - kjent som "Tyskeren", tok imidlertid denne sjansen og la fra seg våpnene.
Minner om Pablo Escobar
Tidligere i år ble det kjent at Rendón Herrera tilbød sine menn opptil 1000 dollar, rundt 6600 kroner, for hver politimann de myrdet.
Dette skulle være opptrapping mot myndighetene som stadig sirklet nærmere rundt mannens nettverk.
Han er i colombianske medier blitt sammenlignet med den verdenskjente kokain-baronen Pablo Escobar som erklærte åpen krig med politiet på 1980-tallet. Escobar ble til slutt skutt av polititet i 1993.
I 1989 ble kokain-sjefen plassert på sjuende plass i magasinet Forbes' årlige liste over de rikeste i verden.
Escobar er også kjent for arbeidet han la i å skape et godt bilde av seg selv. Ved å støtte hus-prosjekt, bygge kirker og sponse flere fotball-lag, innyndet han seg hos den fattige befolkningen.