Что делать, если руководитель угрожает?

Я работаю ассистентом директора. Мой непосредственный руководитель соответственно директор. Он себя ведеит не очень красиво по отношению ко всем сотрудникам, заисключением тех, которых он для себя выделил. Мне он доверял свои тайны и секреты, но узнав, что я общаюсь вне работы с теми, кто может (по его мнению) распускать о нем слухи, он пригрозил мне увольнением. Сказал, что главное изначально сделать правильный выбор и понять чью сторону ты принимаешь, что указывать с кем мне общаться он не может, но если что, то я должна быть готова к увольнению.

Я между двумя огнями, так как все с кем я общаюся мне интересны как люди, а директор мой руководитель. Я ничего никому не рассказываю, а слухи про него ходят итак. Все сотрудники знают про его любовницу и прочии секреты, но не от меня. . Имеет ли он право угражать мне увольнением ? Других решений проблем он не видит и всегда запугивает персонал.