Ungarn vil ikke lenger følge den såkalte Dublin-forordningen,som forutsetter at en asylsøknad skal behandles i det landet som søkeren kommer til først.
– Vi ønsker alle en europeisk løsning, men vi er nødt til å beskytte våre ungarske interesser og vår befolkning, sier Kovacs.
Han sier også at asylsystemet er overlesset, og at landet vil vente med å følge Dublin-forordningen til kapasiteten har økt.
Det innebærer at andre land, deriblant Norge, ikke kan sende asylsøkere som først ba om beskyttelse i Ungarn, tilbake.
EU-kommisjonen kom tirsdag kveld med en skarp reaksjon på utmeldingen. Kommisjonen viser til at Ungarn har gitt andre land beskjed om at utmeldingen har tekniske årsaker, og nå vil EU gjerne vil vite hva Ungarn vil gjøre for å ordne opp i problemene.
Bygger gjerde
Sist uke kunngjorde Ungarns regjering at myndighetene akter å stenge grensen mot Serbia med et fire meter høyt gjerde for å stanse strømmen av flyktninger.
Tirsdagens beslutning betyr at Ungarn ikke kommer til å ta tilbake flyktninger som har vært i Ungarn før de har reist videre til et annet land.
Så langt i år har over 60.000 flyktninger og innvandrere krysset den ungarske grensen ulovlig, ifølge regjeringen. De fleste har kommet via Serbia.
Mange av disse forsøker å reise videre til andre land, som Østerrike, Tsjekkia, Tyskland og skandinaviske land. Disse landene kan i henhold til Dublin-avtalen sende
asylsøkerne tilbake til Ungarn for at de skal få behandlet asylsøknaden sin der.
Slutt på flerkultur
Statsminister Viktor Orban sa tidligere i juni at den flerkulturelle æraen er over, og at Ungarn for enhver pris bør slippe å betale for dens kostnader.
Ungarns utmelding av Dublin-forordningen vil spesielt ramme naboland, blant annet Østerrike.
En talsmann for Østerrikes innenriksdepartement sier at de forsøker å finne en løsning så fort som mulig.
Regjeringen i Wien har selv sluttet å behandle asylsøknader i et forsøk på å presse andre EU-land til å gjøre mer for å takle den store strømmen av asylsøkere som kommer til Europa via sjøveien til Hellas og Italia.
Fulle asylsentre
Mottakssentrene i Østerrike er så fulle at flere hundre asylsøkere må sove på gulvet i flere uker. I et senter sør for Wien må om lag 500 mennesker klare seg uten seng og bad ettersom kapasiteten er sprengt. Det skyldes blant annet at flere av landets provinser nekter å ta imot flere asylsøkere.
Noen av dem ender med å sove i garasjer, andre utendørs etter at de har fått utdelt et teppe.
I løpet av mai kom over 6.200 asylsøkere til Østerrike, to og en halv gang så mange som samme periode i fjor. De fleste kommer fra Syria, Irak og Afghanistan.