I 1188 ble borgen angrepet av kuvlungene, som plyndret og ødela den. Borgen ble gjenoppbygd av birkebeinerne mellom 1190 og 1194, men på nytt angrepet og ødelagt av baglerne i 1197.
Ca 1230 ble borgen for siste gang gjenoppbygd av Kong Sverres barnebarn Håkon Håkonsson, men i fredstiden som fulgte fikk borgen etter hvert mindre betydning, og den forfalt.
Se video om Kong Sverres borg, laget av studenter ved Institutt for Datateknikk og informasjonsvitenskap ved NTNU, Bård Terje Fallad og Espen Almdahl i samarbeid med Regin Meyer: