En foreløpig undersøkelse viser at soldatene har oppsøkt prostituerte, trolig også barn.
Sri Lanka har 950 soldater i FNs fredsbevarende styrke i Haiti.
Soldatene som er blitt anklaget, blir sendt hjem av disiplinære hensyn i dag lørdag, sier FNs talskvinne Michele Montas.
– FN og Sri Lanka tar denne saken veldig alvorlig og gjentar forpliktelsen til generalsekretærens nulltoleransepolitikk når det gjelder seksuell utnyttelse og overgrep, heter det i uttalelsen fra FN.
Også nestkommanderende for styrkene og to andre høytstående offiserer blir sendt hjem.
Ikke første gang
Det har tidligere vært liknende anklager mot FN-soldater som har vært på oppdrag i Elfenbenskysten, Kongo, Liberia, Kambodsja, Bosnia og Øst-Timor..
Etter å ha lukket øynene for slike saker i årevis, bestemte FN i 2005 at skyldige soldater skulle straffes og at lønnsutbetalingene til soldatene skulle holdes tilbake.
Det ble også opprettet et fond for å hjelpe kvinner og barn som ble gravide som følge av overgrepene.
Haiti-styrken
FNs fredsbevarende styrke på Haiti ble utplassert i kjølvannet av kaoset som oppsto da landets tidligere president Jean-Bertrande Aristide ble kastet i 2004.
