Боюсь, что я у моего любовника не одна

Добрый день! Пишу Вам с одной целью, помочь мне найти ответ на вопросы. Дело в том, что у меня появился любовник. Или я появилась у него, сложный вопрос. Мы оба не свободны, у нас семьи и дети. Он старше меня почти вдвое. Интересный мужчина. Мужу до него не изменяла. Но тут, просто карты так легли. Близость была у нас несколько раз. В первый раз мы были вместе больше суток. Мне хорошо с ним. Но. Мне тяжело одновременно. Я хочу знать, что я одна у него (любовница), а некоторые факторы говорят об обратном. Я не знаю как себя с ним вести, иногда мне хочется говорить ему о своих чувствах (не любовь, привязанность, желание), а я боюсь, отпугнуть его. Он действует кнутом и пряником. То называет котенком, то пропадает. Хотя есть возможность просто написать привет. Он уехал на пару недель, мне в это время можно подумать. Я хочу быть с ним, и желательно больше чем 1 раз в неделю. Семью разрушать не свою, ни его не собираюсь. Но я хочу землю под ногами. Хоть мы и говорим о будущих встречах, но это всего лишь слова. Мужчины умеют и любят врать. Но почему я думаю что он врет? Не знаю. Не верю просто что так все получается. В общем помогите, ставить ли точку в отношениях? Как вести себя с ним? Плыть по течению или же самой брать инициативу в руки? Как не отпугнуть его? Или может бросить пока не зашло дальше. Ведь я уже отчасти переживаю. Спасибо за ответ!