Vedtaket ble fattet under et møte ledet av statsminister Ariel Sharon.
– Vi har forpliktet oss til å løslate palestinske sikkerhetsfanger som et ledd i forhandlingene med palestinerne, sier Sharon.
– Dette er ikke et enkelt skritt, men det er mulig at denne gesten både vil hjelpe de palestinske myndighetene med å etablere kontroll og at den vil øke den gjensidige tilliten mellom partene, sier den israelske statsministeren.
På internett
Ifølge justisminister Tzipi Livni skal de første løslatelsene skje i løpet av de neste dagene.
Totalt skal 500 fanger slippes fri de kommende månedene.
Ingen av fangene som skal løslates er dømt for dødelige angrep. Alle har sonet mer enn to tredeler av straffen.
Listen over dem som skal frigis skal publiseres på internett, slik at folk kan få mulighet til å protestere mot løslatelsene.
Til sammen 7.600 palestinere sitter i israelske fengsler.
Skuffet
Palestinerne har gitt uttrykk for skuffelse over antallet fanger som nå skal slippes fri, og vil at også langtidsfanger dømt for dødelige angrep mot israelere skal løslates.
Militante grupper som Hamas har satt løslatelse av sine medlemmer som betingelse for en varig våpenhvile.
Enkelte av de 500 som nå skal slippes fri tilhører Hamas, men de fleste er med i Fatah-bevegelsen til president Mahmoud Abbas.
Søndag ble det også kjent at Israel vil overlevere levningene av 15 palestinske militante til palestinere på Gazastripen, som et symbol på velvilje. Det skal skje mandag, ifølge israelske sikkerhetskilder.