Fengselet, som ligger sør i Tripoli, er blitt brukt av den avsatte diktatoren Muammar al-Gaddafis regime blant annet til å sperre inne politiske motstandere og aktivister.
Ifølge en libysk tjenestemann skal massegraven som ble avdekket søndag, inneholde levninger fra mer enn 1.270 mennesker.
Massakre i 1996
Human Rights Watch har tidligere meldt opp mot 2.000 politiske fanger ble drept i en massakre i Abu Salim-fengselet i 1996, ifølge CNN.
Etter massakren forsvant likene sporløst. Nå er de trolig funnet, men familiene må vente før de får endelig svar på om det er deres familiemedlemmer som er funnet i massegraven.
– Det er snakk om over 1200 martyrer. Vi må skille alle fra hverandre og identifisere dem gjennom DNA-tester. Det kan ta år før vi får den endelige sannheten, sier medisinsk talsperson Osman Abdul Jalil.
Etter at funnet av massegraven ble kjent søndag ettermiddag, sa talsmenn fra Libyas nasjonale overgangsråd at de døde stammer fra denne massakren.
Mange tusen arrestert
Abu Salim-fengselet ble også brukt da flere tusen mennesker ble fengslet da opprøret startet i Libya.
I august fortalte den militære opprørstalsmannen Ahmed Omar Bani at over 10.000 mennesker som var sperret inne i Gaddafis fengsler, hadde blitt satt fri.
Han anslo under en pressekonferanse i Benghazi at så mange som 60.000 mennesker kunne ha blitt arrestert.
– Hvor er resten? spurte han.
I forrige måned opplyste Amnesty International at en delegasjon fra organisasjonen hadde avdekket voldtekt av barn i det beryktede Abu Salim-fengselet.
Abu Salim var et av de siste områdene i Tripoli som opprørerne fikk kontroll over.
