Может ли бывший так долго злиться на меня?

Здравствуйте, подскажите, как справиться со следующей ситуацией. Я скоро выхожу замуж, но приехав в свой родной город, я начала вспоминать человека, который мне когда-то нравился. Отношений у меня с ним не вышло (на тот момент я была не готова, он мне даже как-то деньги предлагал, чтобы переспать), но зацепила я его конкретно своим отказом. Я люблю своего жениха, но мне иногда бывает почему-то не по себе, что бывший сможет испортить наши теперешние отношения (иногда, когда я приезжаю в свой город, мы случайно встречаемся, и я вижу, что он на меня зол до сих пор). Он — человек деспотичный, на многое способен, как мне кажется, может и отомстить за то, что в свое время я была по отношению к нему легкомысленной. Раньше он долгое время не хотел меня отпускать, крутился вокруг меня часто, у него прямо какая-то мания была по отношению ко мне. Честно сказать, я его побаиваюсь до сих пор. Я по этому поводу переживаю. Просто в свое время я была для него игрушкой, он долгое время трепал мне нервы (и не отпускал, но и отношения строить не хотел), и не хочется, чтобы это повторилось, так как я хочу спокойного семейного счастья. Прошло уже 6 лет, но я не знаю, как себя защитить от его возможного вторжения в мою личную жизнь, так как поводом может стать моя свадьба.
У меня вопрос, может ли человек так долго злиться, реально ли это, или, может быть, я просто зря перестраховываюсь и себя накрутила?
П.С. Сказать об этом своему будущему мужу не могу, так как стыдно. А нервничать тоже лишний раз не хочется.
Спасибо.