Den pensjonerte generalen har vært forsvarsminister i USA siden Donald Trump tiltrådte i januar 2017. Han vil fortsette i jobben frem til slutten av februar.
Kunngjøringen av Mattis avgang kommer kort tid etter at Trump sa at USAs styrker vil trekke seg ut av Syria, en beslutning Mattis skal ha vært svært uenig i.
I sitt oppsigelsesbrev skriver forsvarsministeren at hans grunnsyn er at USA må opprettholde gode forhold og vise sine allierte respekt. Mattis skriver også at USA må være «utvetydig» i sitt forhold til land som Russland og Kina.
«Fordi du har rett til å ha en forsvarsminister som har standpunkt som er mer i takt med dine på disse og andre områder, mener jeg det er riktig for meg å trekke meg fra min stilling», skriver Mattis.
Sterk uenighet
Mattis skal ha levert sin oppsigelse under et møte med Trump torsdag, ifølge Reuters' kilder. Under møtet skal de to ha vært uenige i flere saker, sier en høytstående tjenestemann i Det hvite hus til nyhetsbyrået.
Nyheten ble kjent torsdag da president Donald Trump kunngjorde avgangen på Twitter.
«General Mattis har vært til stor hjelp i å få allierte og andre land til å betale sin andel av sine militære forpliktelser. En ny forsvarsminister vil bli utnevnt om kort tid», heter det i Twitter-meldingen.
«Krigsmunken»
Mattis har tilbrakt så godt som hele sitt voksne liv i det amerikanske forsvaret. Han pensjonerte seg fra marinekorpset i 2013 som general og som USAs øverstkommanderende for alle militæroperasjoner i Midtøsten.
Han er respektert blant både republikanere og demokrater som en av USAs fremste militære tenkere, og han gikk under kallenavnet «krigermunken» fordi han aldri giftet seg og var betraktet som en belest og intellektuelt anlagt general.
Han ble også kalt «Mad Dog» Mattis, et kallenavn han selv ikke liker.
En av mange avganger
Mattis er langt fra den første i Trump-apparatet som gir seg. Siden Trump ble innsatt som president 20. januar 2017, har 32 ledende rådgivere, regjeringsmedlemmer eller ansatte i Det hvite hus sluttet eller fått sparken.
Blant de seneste av dem er innenriksminister Ryan Zinke og stabssjef John Kelly, som begge går av på nyåret.
Både justisminister Jeff Sessions og FN-ambassadør Nikki Haley er ute av administrasjonen, det samme er fire kommunikasjonssjefer.
I mars var det klart at Trump hadde byttet ut en tredel av staben. Da omtalte Reuters avgangen til utenriksminister Rex Tillerson som den mest høyprofilerte utskiftingen så langt.