Politiet fikk melding om hendelsen like etter klokken 13 onsdag.
Mannen truet ansatte ved NAV-kontoret i Skien og også en vekter på livet, ifølge politiet.
Han er pågrepet og vil bli avhørt.
Årsaken til at mannen kom med truslene er ikke kjent.
NRK oppdaterer saken.