Rivingen av restene av bygget vil ta rundt tre måneder og er første ledd i en gjenoppbygging av det glitrende hvite palasset midt i byen.
President Michel Martelly og andre medlemmer av regjeringen var til stede da de første takene i riveprosjektet ble tatt onsdag.
Han sa at gjenoppbyggingen av palasset er det symbolsk første skrittet i et prosjekt for å gjenoppbygge andre offentlige bygninger.
Kostnadene ved rivingen blir dekket av den humanitære organisasjonen som ledes av skuespilleren Sean Penn, som har engasjert seg sterkt i Haiti etter jordskjelvet i januar 2010 som kostet 250.000 mennesker livet.
Over to år etter skjelvet bor fortsatt rundt 400.000 mennesker i teltbyer i hovedstaden og andre byer.