Det ble også åpnet maskingeværild mot bygningen, hevder kildene overfor nyhetsbyrået AFP.
Arafat som har vært omringet av israelske styrker siden 29. mars, skal ikke være kommet til skade i angrepet.
Fire av Arafats livvakter skal imidlertid være såret, sier Nabil Abu Rdainah, som er inesperret i kontoret sammen med Arafat.
En av livvaktene er alvorlig skadd, men ambulanser klarte ikke å nå fram til bygningen som er omringet av israelske stridsvogner.
Bekrefter skyting
Den israelske hæren bekrefter at det har vært skyting ved Arafats kontor, men sier de bare svarte på ild fra palestinerne.
Israelske myndigheter sier de ikke har noen intensjoner om å såre Arafat.