Dermed står det 2-2 i kamper i best av sju-serien.
Det haglet med utvisningsminutter i det intense nabooppgjøret. Rangers pådro seg til sammen 43 utvisningsminutter, mens Devils fikk 23 minutter.
Bryce Salvador og Travis Zajac sørget for at Devils ledet 2-0 etter 1. periode.
Zach Parise økte til 3-0 tidlig i 3. periode. Ruslan Fedotenko reduserte etter 54.55, men da Rangers tok ut målvakten kunne i stedet Parise sette inn sitt andre mål for dagen i tom kasse.
– Vi spilte bra i dag. Vi fortsatte å spille slik vi har gjort, og da visste vi at målene før eller siden skulle komme, sa Parise.
– Intensiteten i disse kampene vil bare stige ytterligere. Det er mye som står på spill. Vi er klare for utfordringen, fortsatte New Jersey-helten.
For Rangers handler det om å nullstille foran kamp fem i Madison Square Garden onsdag.
– Vi må bare komme oss videre og glemme denne kampen. Jeg er sikker på at vi slår tilbake på den riktige måten, for det har vi gjort tidligere i sluttspillet, sa Rangers-trener John Tortorella.
(NTB)