Стоит ли ехать или остаться из-за жалости к мужу?

Здравствуйте. Не могу разобраться, как мне поступить. Мы с мужем развелись 3 года назад. Потом сходились и просто жили вместе. У нас есть дочь, ей 5 лет. Я хочу с дочерью переехать в другой город, а он не отпускает. Говорит, что он не сможет жить без меня и дочери. Мне его очень жаль, и последние годы я иду у него на поводу. Мне жалко дочь, она постоянно говорит о папе. Как быть дальше, подскажите, пожалуйста.