Berg har mellomfag i filosofi og litteratur samt studier i egyptologi fra Universitetet i Bergen og Universitetet i Tromsø. Han har vært medlem av Forfatterforeningens litterære råd (1987-1988) og (1993-1996). Han har sittet i Kulturrådets ankenemnd for innkjøpsordningen for ny norsk skjønnlitteratur. Fra 1997 var han kunstnerisk leder for Sigrid Undset-dagene, Norsk litteraturfestival.
Bibliografi
1982 Retninger (dikt)
1983 Paul Celan: Språk-gitter (gjendiktning)
1984 Barn er et hardt språk (dikt)
1985 Kenneth Patchen: En sky pornograf ser på verden(gjendiktning)
1985 Vitenskap for barn (dikt)
1986 Et foranskutt lyn (dikt)
1988 Totschweigetaktiken (dikt)
1989 Kjøter: en sosiodisé (skuespill)
1989 Ezra Pound: Metriske ruiner (gjendiktning)
1990 Lærestykker (prosa)
1991 Per Højholt: Dikt i utvalg (gjendiktning)
1992 Kunngjøring (dikt)
1993 Poe si tid (dikt)
1994 Et volum dikt 1982-1993
1995 Forskjellig (dikt)
1995 Heiner Müller: Wolokolamsker chaussè (gjendiktning)
1996 Paul Celan: Etterlatt (gjendiktning)
1997 Bak-truppens historier
1997 Kjærlighetc. (dikt)
1998 W. Shakespeare: Hamlet (gjendiktning)
1998 Nye linjer. 90-tallet i norsk lyrikk (red.)
1998 Tyven fra Brügge (dikt)
2000 Nede fortelling (dikt)
2003 Bertolt Brecht: Baal (gjendiktning)
2004 Chutzpah i måneskinn (essay)
2006 Olavers 2 og andre dikt (dikt)
Priser
1992 Oktoberprisen
1995 Brageprisen (lyrikk)
1999 Aschehougprisen
2000 Haldis Moren Vesaas-prisen
2002 Språklig samlings litteraturpris
2003 Hold Dampen Oppe-prisen
2003 Danse- og teatersentrums Scenekunstpris
