У нас свободные отношения, но он пытается контролировать меня

Здравствуйте! Не могу разобраться в отношениях. Встречаюсь с женатым около года. С самого начала он сказал, чтобы я планы на него не строила, что из семьи он не уйдет (хотя отношения с женой рутина). Было неприятно, но мне вполне это подходило, так как для меня 1 место - это работа. 4 месяца назад я переехала в другой город, и мы стали видеться 2-3 раза в месяц. Больше общаемся по телефону. Я уже свыклась с фактом, что у нас ничего не будет в дальнейшем, поэтому и отношение мое соответствует. Это просто хороший секс. Не говорю ему о своих делах (поверхностно только), проблемах и переживаниях. Сегодня он позвонил и на мое "все хорошо" бросил трубку. Я стала замечать что он в шутливой форме делает замечания по поводу, с кем я провожу свободное время, какие-то упреки. Мне с ним просто хорошо. Он не делает мне подарков, ничем не помогает. Никто ничего друг другу не должен. Скажите, пожалуйста, чего он добивается (расстаться, я его не держу)? Я пошла на эти отношения безоговорочно, чего ему не хватает? Помогите, я очень из-за этого переживаю.