После близости испортились отношения с другом-начальником

Добрый день! 5 лет назад устроилась в одну организацию на хорошую работу с достойной зарплатой. Чуть позже туда устроился мой муж. Коллектив тогда подобрался под стать нам - молодые, активные, компанейские. Постоянно собирались после работы. Но и работали помногу. Сдружились семьями с одним парнем. Этот парень пошёл на повышение, стал руководителем отдела и стал звать меня в свой отдел. Ну я и согласилась. По работе у нас с ним всё клеилось, всему обучил. Всегда поддерживал, хвалил, оставлял своим замом на время отпуска. Но и про дружбу не забывал. Реально был хорошим другом. Муж даже и не думал ревновать. Потом с мужем у нас наступил кризисный период, не связанный с другом-начальником. Ссорились, ругали, не понимали друг друга. Один раз рассорились крупно, и как раз мужу надо было уехать в командировку. Так случилось, что у меня завязался роман с другом-шефом. Он был мил и обаятелен, с одной стороны, мне было дико стыдно перед своим мужем и его женой, которая ждала второго ребёнка. А с другой стороны, я в корне пересмотрела своё отношение к браку, заново полюбила мужа и отбросила свои сомнения по поводу развода. Тут начали рушиться отношения с другом-шефом. За малейшую провинность орал на меня как потерпевший. Заваливал работой, давал задания, несоизмеримые с моей должностью, заставлял делать и переделывать работу других сотрудников. Это продолжалось месяца три, я не сдавалась и упорно трудилась. Потом он вдруг резко переменился, стал опять подкатывать, подобрел и сменил гнев на милость. Как раз в это время я беременею и ухожу в декрет. Все 3 года он постоянно звонил, писал, как ждёт моего возвращения, какой я хороший сотрудник, что остались у него недалёкие ребята в отделе. Заделался к моему мужу в лучшие друзья. Так сложилось, что мне необходимо выйти на работу. Работаю по вахте в другом городе. Начальник был против моего выхода. Отговаривал и культурно и не особо (ты - баба, сиди дома и рожай, знай своё место). Но я всё равно вышла, т.к. очень нужны деньги, специализация узкая и мне нравится моя работа. В итоге, коллектив более-менее принял (работаю вторую вахту), сотрудники моего отдела, естественно, не особо принимают. А с начальником отношения ужасны. Ничего не объясняет, не подсказывает, об изменениях не сообщает. Общаемся только письменно. Потому что если начинаем разговаривать - поссоримся. Стоит мне слово сказать, как в мою сторону сыпется "Меньше пафоса", "Выпендриваться дома будешь", "Молчи, женщина". К слову, я человек неконфликтный, на рожон не лезу. Предвидя ситуацию, лишнее слово не скажу. Но и в обиду себя не дам и могу ответить. Со всеми остальными сотрудниками он шутит и смеётся, травит байки и фривольно разговаривает. А со мной разговаривает только матом и вечно недоволен. Я - единственная девушка в отделе. В коллективе нас трое (две одногодки и одна дама 56 лет). Работа очень нравится. Коллектив нормальный. У других руководителей нет претензий. Зарплата устраивает, найти такую же мне сложно. Но вот отношения с начальником выбивают меня из колеи. Не общаться вообще не получается. Постоянно возникают вопросы, которые не могут решить мои сотрудники. То, что другим он даже не заметит, мне - устроит скандал. Как быть?