Autorizzazione per incarichi extraistituzionali: il caso di un docente con comportamenti aggressivi...

Sono un dirigente scolastico.
Un docente da anni mi chiede alcune autorizzazioni per svolgere attività di docenza presso alcune università ed enti più vari corsi di formazione per docenti per i quali non è tenuto a chiedermi l'autorizzazione. Nel corso degli anni, però, questi incarichi sono aumentati al punto, a mio parare, di rendere molto difficile l'attività lavorativa ordinaria (insegnare) con un adeguato recupero psico-fisico e tutte le attività lavorative extra. E' vero che solo in pochissime occasioni si è assentato dal lavoro per svolgere le sue attività extra chiedendo permessi o ferie, ma mi pare che il suo lavoro scolastico sia "superficiale", poco approfondito. Passa molte ore a scuola oltre il suo orario di servizio, ma non riesco a vedere la ricaduta nel suo operato scolastico rispetto a tutto il tempo che passa a scuola. Vero è che non ricevo lamentele dalle famiglie, i voti sono buoni. Un altro aspetto inquietante è che si arrabbia facilmente, non fa lavoro di squadra e ultimamente, ha osteggiato alcune decisioni da me prese nonostante sia componente dello staff di presidenza, senza aver anticipato al sua posizione nè con me, nè nello staff. Il clima nelle riunioni è pessimo e non ci si fida più a dire in onestà quello che si pensa nè muovere critiche, perchè non si sa come questo docente si possa comportare. Più volte, dallo scorso anno,gli ho chiesto di ridurre i suoi impegni sia interni alla scuola che extra (era anche xxx e componente xxx) e di essere più disposto al confronto con gli altri, ma la situazione è peggiorata. Qualche giorno fa gli ho detto che non ho intenzione di concedergli per il prossimo anno tutte le autorizzazioni che gli ho concesso finora e che non gli rinnoverò la posizione dentro lo staff. Mi ha detto che mi avrebbe denunciata a xxxx perchè non posso rifiutarmi di concedergli le autorizzazioni. Ora: a parte che sono sempre molto in ansia quando devo parlagli da sola e non lo farò più perchè è davvero aggressivo verbalmente, chiedo: effettivamente io non posso rifiutare le autorizzazioni? Inoltre, stante questo comportamento verbalmente aggressivo che lui nega di avere, pensavo ad una visita medico collegiale, è sensato chiederla oppure mi espone a delle contromisure (e magari denunce) da parte del docente?
Ringrazio per le risposte.