Начальник намекает мне на близкие отношения

Добрый день! Помогите мне, пожалуйста, советом, т.к. сложившей ситуацией не могу поделиться ни с кем из близких. Мне намекает на близкие отношения мой начальник. Я отказала категорически. В другой ситуации я просто бы уволилась, но работой этой я очень дорожу, живу одна с маленьким ребенком, устроиться в моем городе (я за городом живу) сложно очень, а тут предприятие рядом с домом, зарплата неплохая, меня уважают коллеги, и тут вот такая неприятность. Он не настаивал, умолял не увольняться, сказал, что больше никогда себе не позволит об этом заговорить, но я чувствую его отношение и хорошее расположение ко мне, очень боюсь, что об этом догадаются коллеги, а еще, он сказал, что его супруга догадывается о его отношении ко мне. Неужели мне все же придется уйти... Помогите советом, как поступать в такой ситуации.