Хочу с ним расстаться, но не хочу менять работу

Здравствуйте. Помогите советом. Я встречалась с женатым мужчиной 4 года. Сейчас я приняла решение с ним расстаться. Он является моим начальником. И в последнее время мы очень часто ругаемся по работе. Работа мне нравится, доход неплохой. Я держу обиду, раздражение на него и всех членов его семьи, теперь его дети работают с нами (семейный бизнес). Подскажите, как мне избавиться от раздражения на них. Я не могу принять решение, остаться на этом месте или искать новую работу. Хотя прекрасно понимаю, что хорошую работу сейчас найти непросто. Помогите, пожалуйста. Заранее спасибо.