Мать у него на первом месте, а я только на втором

Здравствуйте. Прошу Вас дать мне совет, как быть. Мы с молодым человеком живем вместе чуть больше года. Все начиналось хорошо, до приезда в гости в родной город (мы оба из одного города, встретились и стали жить по месту моей учебы). Там, по приезду, получилась такая ситуация: моя мама восприняла его как родного, тогда как его мама приехала к дому моих родителей и со словами «привет, Ирина», отвернулась от меня и сказала моему молодому человеку: «все собирайся, поехали там тебя все ждут», отвернулась, села в машину и уехала. (А она приезжала к нам в гости, в другой город, и жила неделю, я старалась, чтобы ей было во всем удобно, по мере возможности). Он по моей просьбе помог донести мне чемоданы до двери, развернулся и уехал. И так продолжается до сих пор, когда мы приезжаем туда. Там на любые мои просьбы, даже серьезные, у него один ответ — меня мама попросила…, мне нужно помочь маме… и т.д. Он приезжает ко мне только часов в 12 ночи и уезжает с рассветом.
А в Питере все нормально, живем, работаем. Ему для меня ничего не жалко, везде только вместе.
Не могу ему простить, что там для него я на втором месте. Боюсь, что в один прекрасный момент его мама скажет ему — выбирай: или я, или она; и, как мне кажется, он не сможет отказаться от матери.
Как быть? Мне кажется, если мы сошлись и живем вместе, то и решения все надо принимать сообща, а не через матерей.