Ivanov, som har tilhørt Putins innerste krets i mange år, må i stedet nøye seg med en langt lavere stilling der han skal jobbe med miljø- og transportsaker.
Som ny stabssjef har Putin utnevnt Anton Vajno, opplyste Kreml på sin egen nettside fredag. Han har tidligere vært Putins visestabssjef.
Statlig fjernsyn viste fredag bilder av Putin, Ivanov og den nye stabssjefen mens de holder et møte.
Uventet
Ivanov skal ifølge Putin ha gått av etter eget ønske da han har vært for lenge i stillingen. Han har hatt stillingen i fire år.
Nyheten kom som en overraskelse i Moskva, melder nyhetsbyrået DPA.
– Jeg tror at det enten handler om helse og pensjonering, eller om Putins ønske om å degradere den gamle garden og i stedet rekruttere nye fagfolk, eller begge deler, sier den politiske analytikeren Mikhail Trojtskij.
- Les også:
Utsatt Medvedev?
Han spekulerer også på om Putin ønsker å «balansere» en annen stor beslutning, som for eksempel en avskjedigelse av statsministeren. Men han mener det er lite trolig.
Statsminister Dmitrij Medvedev har nylig fått kritikk for å ha uttalt at regjeringen ikke har nok penger til å øke de svært lave pensjonene til mange eldre russere.
Ivanov har tidligere vært både forsvarsminister og visestatsminister og har kjent Putin siden de begge var KGB-agenter i daværende Sovjetunionen. Han er også tatt ut av det russiske sikkerhetsrådet.
- Les også: