Statuen som har satt japanske sinn i kok er ført opp utenfor landets konsulat i byen Busan.
Den ble avduket på nyttårsaften og vakte umiddelbart sterke reaksjoner både i Sør-Korea og i Japan.
Beslutningen om å hente hjem ambassadøren ble kunngjort på en pressekonferanse, der en talsmann for den japanske regjeringen sier de også vil innføre andre tiltak, inkludert å stanse høynivådiskusjoner om økonomi.
– Den japanske regjeringen synes situasjonen er svært beklagelig, sier Yoshihide Suga.
Opp mot 400.000 kvinner var sexslaver
Titusener koreanske kvinner ble tvunget til å være såkalte «komfortkvinner» for soldater i den japanske hæren før og under den andre verdenskrig.
Mange av dem ble tvunget til å arbeide i bordeller nær frontlinjene.
Også kinesiske og filippinske kvinner ble tvunget til prostitusjon på denne måten. Noen anslår at opp mot 400.000 kvinner ble rammet.
Flere regjeringsmedlemmer i Japan knyttes til en gruppe som fornekter japanske krigsforbrytelser, og «komfortkvinnene» har vært et betent tema i forholdet mellom Japan og Korea i lang tid.
Satt opp igjen som protest
Statuen i Busan ble først satt opp av lokale aktivister utenfor det japanske konsulatet i romjulen.
Den ble raskt fjernet av de lokale myndighetene som ikke ville skape vanskeligheter i forholdet til Japan.
Etter at Japans forsvarsminister Tomomi Inada 29. desember besøkte Yasukuni-monumentet som hedrer japanere som døde i 2. verdenskrig, valgte bymyndighetene i Busan å tillate at statuen ble satt opp igjen.
Yasukuni-monumentet er svært kontroversielt fordi flere japanske krigsforbrytere er blant de som blir minnet der.
Inngikk avtale i 2015
For et drøyt år siden inngikk Japan og Sør-Korea en avtale som innebar at Japan gir økonomisk kompensasjon til sørkoreanske kvinner som ble brukt som sexslaver.
En sum tilsvarende 70 millioner kroner ble overført til et fond som skal brukes til å hjelpe de overlevende ofrene.
De fikk også en offisiell unnskyldning fra den japanske statsministeren Shinzo Abe.
Japan mener at avtalen fra desember 2015 innebærer at landene nå legger saken bak seg at Sør-Korea med statuen har brutt avtalen.