New York-kommisjonen for nasjonale minnesmerker besluttet tirsdag med ni mot null stemmer å tillate riving av den eldre bygningen på 45 Park Place på nedre Manhattan.
Dermed banes veien for en omstridt søknad om å bygge et 13 etasjer høyt kultursenter som skal inneholde en moské, et treningssenter og andre aktiviteter.
Motstanderne kalte det upassende å bygge en moské så nær åstedet for terrorangrepet som ble utført av islamske ekstremister.
De har forsøkt å få bygningen fra 1857 erklært et nasjonalt minnesmerke fordi det ble rammet av biter fra et av flyene som traff tvillingtårnene.
Men kommisjonen for nasjonale minnesmerker kom enstemmig til at bygget ikke har noen historisk verdi og derfor kan rives.