Стоит ли все бросить и начать заново?

Здравствуйте! У меня каша в голове. Помогите, пожалуйста! В 17 лет я вышла замуж за человека, с которым встречалась 3 года. Не знаю, зачем вышла - просто захотелось замуж. Я его любила на тот момент. Он - положительный, понимающий и т.д. Но после свадьбы я встретила другого. Конечно, физической связи у нас не было, но я чувствовала, что меня к нему магнитом тянет. Развелась. Начала встречаться с этим. Долго встречались - родила ребенка, теперь живём втроём. Чувство к нему сильное, но по многим причинам я не хочу периодически с ним жить. Он скорпион, а это очень тяжелый, на мой взгляд, знак зодиака. Я водолей. Если всё бросить - боюсь начинать всё заново - ведь у меня теперь ребенок. Да и ребенка он начинает делить при каждой ссоре. В общем, не знаю, что делать... Наверно, правильно говорится, что на чужом несчастье своего не построишь... Я же, получается, сделала больно своему первому мужу...