Из-за меня его друзья перестали с ним общаться

Здравствуйте. Очень прошу совета. Начну с того, что по характеру я очень спокойна, лишнего слова порой не скажу, застенчива, не умею толком общаться, но всячески стараюсь научиться. Правда, пока что безуспешно. Стараюсь поднять самооценку, чаще улыбаться. Дело в том, что я раньше проживала в другом городе и недавно переехала молодому человеку, своих друзей у меня здесь нет. Проблема в том, что из-за меня мой молодой человек ссорится с друзьями. Из-за своего характера мы не можем часто бывать в обществе его друзей, и я считаю, что именно я стала причиной, по которой его теперь никуда не зовут. Я просто никому не нравлюсь. Я не пью в компаниях, не курю и люблю больше слушать, чем говорить. Я разговаривала с ним, но он говорит, что значит друзья такие, что рано или поздно всё равно бы это случилось. А я знаю, что и он думает так же, как и я: это из-за меня. Помогите, как мне быть? Может, поговорить с его друзьями? Или оставить молодого человека в покое и не портить ему больше жизнь? Я в отчаянии... И не хочу, чтобы из-за меня страдали другие.