Я представляю, как ухожу от него

Здравствуйте. Помогите, пожалуйста, разобраться в такой ситуации. Мы встречаемся почти год. Не знаю, как для него, но для меня начало наших отношений было очень трудным. Дело в том, что до меня у него была девушка, которую он очень любил (я знаю это, потому что на тот момент мы вместе работали), в общем, она ушла от него, но учились они вместе. После чего он стал со мной заигрывать, я ему отвечала взаимностью, так продолжалось две недели, до той поры как к нам на работу не устроилась новая девушка, и он переключился на нее на моих глазах, но и про меня не забывал, вел себя по-прежнему, потом появилась третья… На тот момент я уже ничего от него не ждала, у нас не было близости, мы общались по-дружески. После чего он уволился и уехал. Тут и общение прекратилось, я думала, навсегда… Но он через некоторое время захотел встретится, и первый раз был секс. Потом те две девушки пропали, но осталась та, которая была для него всем… Они вместе учились и решили поддерживать дружеские отношения, и он ходил к ней в гости, и ее фотография еще долго стояла у него на столе… А я не знаю, как все это терпела, но вытерпела. Может быть, я полная дура, но он как-то завоевал мое доверие, да и зачем тогда я была бы ему нужна, если бы он спал с любимым человеком (с ней). Потом что-то случилось, и он возненавидел ее, а она хотела общения с ним, звонила, дарила подарочки… Исчезла и фотография…
Теперь все хорошо, думаю, он даже любит меня, но никогда об этом не говорил, он очень категоричен в разделении любви и влюбленности, и говорил мне об этом, сказал, что влюбленность есть. Может, дело в том, что устала ждать от него других слов. И знаю, что если сейчас все хорошо, то зачем что-то менять. Но последнее время стала часто вспоминать все эти негативные моменты в начале отношений, это очень неприятно, и я злюсь на него за это, про себя тихо начинаю его ненавидеть, после чего представляю, что он мне изменяет, мы ругаемся, мне становится больно, а потом я ухожу от него и сквозь боль чувствую облегчение. (Это происходит, когда его нет рядом).
Я не могу понять, почему эти мысли не могут оставить меня, зачем эти нелепые фантазии, если я вовсе не хочу уходить от него?
Заранее спасибо.