Он уверяет себя, что у меня никого не было

Здравствуйте! У меня такая история, в 18 лет я встречалась с парнем пол года пока он не ушел в армию. Мы с ним в одной школе учились, он был первым парнем у меня. Ну все было хорошо, ждала его, потом через пол года мы расстались (это была моя инициатива) и общались по телефону просто как друзья. Я начала встречаться с другим. Это длилось месяц, а потом 5 месяцев я пыталась убежать от него потому что он был надоедливый, изменял, врал. Один раз с ним были близкие отношения. Спустя еще полгода пришел мой бывший парень в отпуск с армии, мы виделись каждый день и решили, что надо забыть прошлое и начать все заново. Я не сказала, что после него у меня был секс с другим, но то что я с ним встречалась он знал. Уже прошел год как мы снова вместе, все хорошо, я его очень сильно люблю, мы думаем о совместном будущем. Ему осталось служить полгода. И разговаривая с ним мы иногда возвращаемся к прошлому, и он уверяет себя, что у меня никого не было в период нашей разлуки, а сказать я ему боюсь, потому что не хочу расставаться с ним и поэтому просто молчу, хотя я знаю, что там у него тоже были девушки на одну ночь и ничего не говорю по этому поводу. Мне стыдно перед ним, думаю если скажу, то он перестанет мне доверять или захочет расстаться, к тому же он у меня моряк и в будущем может проявлять недоверие. Я не знаю, говорить или лучше молчать?