Боюсь расстаться с коллегой-любовником

Здравствуйте. Прошу совета. Вот уже больше года длится мой роман. Мы работаем в одной фирме. Я начальник отдела, он заместитель директора. Он младше меня на 8 лет. У обоих хорошие семьи, дети. Эти отношения возникли у меня очень неожиданно. Я до этого никогда не изменяла мужу. Всегда считала, что измена мужу - это неприемлемо для меня. 20 лет в браке. Считаю свою семью счастливой. И вдруг... Видимо, кризис среднего возраста, и я сошла с ума. С самого начала была договоренность, что семьи - это святое, мы их никогда не разрушим и никогда не сделаем ничего, что бы могло повредить уже сложившимся нашим семейным отношениям. Интимные встречи бывают не часто, примерно один раз в месяц, хотя на работе видимся ежедневно, но не проявляемся, строгая конспирация. 5 месяцев он меня добивался. Первые полгода он проявлял бурную страсть, потом эмоции пошли на спад. При интимных встречах все просто великолепно, а вот в перерывах мне жутко не хватает его внимания. Я полюбила его. По сути я человек очень постоянный, я его внедрила в свое сознание в свою жизнь, теперь от этого очень страдаю. Понимаю, что отношения перешли в спокойное русло, но я извожу себя ожиданием, а его требованиями внимания. Понимаю, что долго так не выдержу, либо не выдержит он. В общем, понимаю, что приходит время заканчивать отношения. Очень больно! Не представляю, как дальше работать с этим человеком бок о бок. Менять работу не хочу. Если разорвать отношения, мне неизбежно будет казаться, что он придирается ко мне, хотя он очень порядочен и честен в отношениях работы. Подскажите тактику поведения. Не знаю что делать. Заранее спасибо!