Palestineren forsøkte å stjele våpenet til en av vaktene utenfor lokalene til den ultra-ortodokse jødiske organisasjon Ateret Cohanim i den historiske gamlebyen.
Gamlebyen huser objekter som er hellige for både kristne, muslimer og jøder.
Seks skadde
Våpentyven skøyt og skadet vakten, og en annen vakt fulgte etter og drepte palestineren, sier politisjefen i Jerusalem, Aaron Franco.
Ifølge israelske sikkerhetsstyrker ble seks sivile ble skadet i skyteepisoden, tre av dem alvorlig.
Ateret Cohanim er en av flere ultra-nasjonalistiske organisasjoner som kjøper hus og landområder fra palestinere. Målet er å få bosatt jøder i de arabiske nabolagene i Jerusalem, inkludert gamlebyen.