En effet cette clause est interdite / abusive. Même si vous avez signé ce contrat elle n'est pas valable. Si le conflit persiste, je pense que le mieux sera de faire appel à un spécialiste.
Il me semble que le pire que votre patron puisse faire légalement, c'est déclarer que vous ne travaillez...