Как мне себя вести в сложившейся ситуации?

Уважаемый консультант, помогите советом, как мне себя вести в сложившейся ситуации: 2 года я живу с мужчиной, которого очень люблю. он ушел из семьи, я развелась с мужем, и мы стали жить вместе по его инициативе. у меня от первого брака 2 детей, у него дочь 15 лет. но на протяжении этих двух лет он продолжает общаться со своей семьей. я ничего не имела против, пока 6 месяцев назад мы не переехали в другой город. теперь он все праздники и воскресенье проводит там. на праздники приезжает к вечеру, а в воскресенье остается там ночевать. объясняет это тем, что раньше видел дочь каждый день, а сейчас только по выходным и праздникам. я уже устала говорить с ним о том, что меня это не устраивает. говорит, что очень меня любит, и мне не о чем беспокоиться. но я беспокоюсь. в этом городе у меня нет ни друзей, ни мамы, только он и дети. и у меня перед праздниками наступает депрессия, так как я опять остаюсь одна. не могу и к маме поехать, так как очень далеко. не знаю, как мне лучше себя вести. терпение на исходе, скандалить не хочу. дочь его обо мне не знает, у нее переходный возраст, он боится ее травмировать, поэтому о свиданиях на нашей стороне не может быть и речи. что делать, чтобы сохранить нашу семью?