Commande N°1 (testée et approuvée :) ) :
rm -rf `find . -type d -name CVS`
Bien sur le nom du repertoire dans mon exemple est CVS

Commande N°2 (non testée) :
find . -name "cvs" -type d -exec rm -rf {} \;


Sources :
http://www.google.fr/#hl=fr&q=supprimer+repertoire+linux+cvs&aq=f&aqi=&aql=&oq=&gs_rfai=&fp=6e1ab1f4cd74bc29
http://www.technos-sources.com/infomsg_SUPPRIMER-REPERTOIRE_844920.aspx
http://www.siteduzero.com/forum-83-544539-p1-supprimer-un-dossier-nomme-cvs.html