Det var første gang de to møttes ansikt til ansikt på nesten ti år
Målet er å få slutt på den politiske krisen som valget skapte.
- Dette er en historisk mulighet, sa Morgan Tsvangirai da han undertegnet avtalen på et hotell i hovedstaden Harare.
President Robert Mugabe på sin side innrømmet at det er grunn til å endre landets grunnlov.
- Avtale i dag er et rammeverket for forhandlingene, sier justisminister Patrick Chinamasa. Han skal lede forhandlingene på vegne av regjeringspartiet ZANU-PF og president Robert Mugabe.
Mbeki tilstede
Sør- Afrikas president Thabo Mbeki var med på undertegningsseremonien.
Mbeki har meklet i konflikten på vegne av Samarbeidsorganisasjonen for det sørlige Afrika, SADEC.
Mbeki skal også mekle i de forhandlingene som nå kan starte.
En talsmann for SADEC sier han håper at forhandlingene, som nå skal starte, vil være sluttført i august når SADEC skal ha toppmøte i Sør-Afrika i august.
Samtaler i Sør-Afrika
Det har en stund foregått samtaler i Sør-Afrika som har ført fram til dagens avtale.
President Mbeki har ledet dem, men også representanter for Den afrikanske union og FN har vært med.
Tsvangirai har nølt
Avtalen om forhandlingene skulle ha vært undertegnet sist onsdag, men opposisjonslederen Tsvangirai trakk seg.
Han ville ha flere uavnhengige representanter enn Sør-Afrikas president med. Dessuten har han hittil vært motstander av en samlingsregjering, og vil i stedet ha et overgangsstyre som skal forberede nyvalg.
Nå har både han og president Robert Mugabe undertegnet på at de vil forhandle. Det er imidlertid langt fram til en avtale om hvordan framtida skal se ut i Zimbabwe.