Det sier Kolberg i intervju med NRK.
Samtidig sier han at han er glad for at Harlem Brundtland nå har bestemt seg for å flytte hjem igjen.
Han understreker også at hun ikke har brutt loven.
Den tidligere statsministeren har bodd i Frankrike i flere år, og en fransk-norsk skatteavtale gjør at hun ikke har betalt skatt av pensjonen de siste årene.
Kontakt
Ledelsen i Arbeiderpartiet har vært i kontakt med henne om situasjonen rundt bosituasjonen, og at hun ikke har betalt skatt til Norge.
Kolberg bekrefter at det har vært slik kontakt, men understreker samtidig at beslutningen om å flytte hjem, er tatt av Harlem Brundtland selv.
Samtidig sier Harlem Brundtland at kritikken i pressen mot henne de siste dagene er en medvirkende årsak til at hun nå vender hjem.
Statsminister Jens Stoltenberg vil endre skattereglene, men heller ikke han vil kritisere Harlem Brundtland for å ha benyttet et lovlig skattehull.
- Påfallende tause
Frp-formann Siv Jensen sier Arbeiderpartiets ledelse har møtt seg selv i døren etter at det ble avdekket at Harlem Brundtland ikke betalte skatt til Norge.
Hun mener ogsp at Arbeiderpartiet er i ferd med å miste troverdighet i skattespørsmål.
- Hadde det vært en tidligere statsminister fra et hvilket som helst annet parti, hadde Ap-ledelsen stått med en harmdirrende pekefinger og moralisert, sier hun til NRK.
Jeg synes det hele fremstår ganske hult fordi Arbeiderpartiet er raskt på banen med å kritisere alle andre, men når en av partiets egne og i sin tid fremste leder er kommet i en litt vanskelig situasjon, da blir det stille. Det betyr kanskje at Arbeiderpartiet bør revurdere sine skattepolitiske synspunkter, spør Siv Jensen.