Муж хочет развода, а я нет!

Добрый день. Мы с мужем женаты 6 лет, у нас дочь 5 лет. По характеру своей работы (у него ненормированный рабочий день) он приходит домой очень поздно. Недавно я нашла у него в телефоне смс-ки от другой женщины, на что он сказал, что это просто знакомая и он мне не изменяет. Я его спросила, если ты меня не любишь и не хочешь быть со мной, давай разведемся, на что он сказал - давай. 2 дня не ночевал дома (но звонил и говорил, что у друзей) приходил, когда я была на работе, а ребенок в садике. Потом пришел, сказал, что все для себя решил и хочет развестись, но при этом при всем очень сильно меня любит и ему очень трудно. Когда я у него спросила о причине развода, он сказал, что это моя вина, я плохо к нему относилась, не ухаживала, не готовила (хотя не могу не готовить, потому что у нас маленький ребенок), просто, наверное, не грела и не сидела с ним ночью, когда он приходил с работы. Я сказала, что если мы разведемся, я уеду к родителям в другой город, потому что мне будет очень тяжело находиться с ним в одном городе, на что он заявил, что хочет чтобы я жила в одном городе с ним и хочет остаться друзьями. Во время разговора он несколько раз подходил ко мне обнимал целовал в шею, лоб. Потом ушел, поехал к другу помогать делать ремонт и сказал, что завтра придет пораньше. Когда я ему предложила собрать вещи и уйти, он сказал, что ему не куда идти, и он будет жить с нами в одной квартире, я предложила, чтобы мы с дочкой сняли квартиру и уехали, на что он заявил, что лучше он будет скитаться по друзьям. Я не хочу с ним разводиться, очень его люблю. Развод давать ему я тоже не хочу. Что мне делать, помогите, пожалуйста. Он хочет, чтобы мы вместе подали на развод. Если я откажусь идти с ним, могут ли нас развести без моего согласия? Очень жду вашего ответа.