Появление на свет будущей знаменитости пришлось на годы гражданской войны. Когда мальчику исполнилось четыре года, отец ушел из семьи, и мать сама воспитывала его. В девять лет Женя получил свой первый заработок, продавая арбузы. Деньги он потратил на покупку балалайки, после чего радовал односельчан своим пением. Ему настоятельно советовали стать артистом, и мать приняла решение переехать в районный центр.
В Херсоне юноша стал выступать в местном театре, даже не окончив девятый класс. На него обратил внимание актер Николай Черкасов и посодействовал его переезду в Киев, где Женя поступил в студию Александра Довженко.
Во время войны Матвееву пришлось несколько сменить деятельность – он стал курсантом Тюменского пехотного училища, после окончания которого в нем же и преподавал. В этот период он и познакомился с будущей супругой Лидией, которая собиралась стать певицей. Отношения молодых людей были непростыми. Девушка собиралась за другого, но в итоге сделала выбор в пользу Евгения, влюбившегося в нее с первого взгляда. Свадьба состоялась в апреле 1947 года, а через несколько месяцев родилась дочь Светлана.
Творческий путь Матвеева складывался довольно трудно. Перед тем, как получить признание, он побывал в Новосибирске, куда переехал с семьей из Тюмени. Поворотным в его карьере стал 1951 год, когда его заметил Михаил Царев во время гастролей театра в Ленинграде. Евгению предложили переехать в Москву и выбрать любой театр. Матвеев предпочел Малый, поскольку к месту работу прилагалась и служебная квартира. Лидия стала петь в хоре Большого театра.
Вначале семья проживала в коммуналке, где родился сын Андрей. После супругам дали большую квартиру. Лидия решила больше внимания уделять семье и стала домохозяйкой. С годами Матвеев становился все более знаменитым и обзавелся огромной армией поклонниц. На пути актера было много искушений, и однажды это привело к уходу из семьи.
Лидия заподозрила неладное в отношениях с мужем и вывела его на откровенный разговор. Мужчина признался: он влюбился. В ответ на это супруга собрала ему чемодан и сказала, что будет ждать его возвращения, но ровно год. Актер ушел, но не к любовнице, а к своему товарищу, у которого прожил несколько месяцев. После он вернулся в семью.
Евгений считал Лидию своей единственной настоящей любовью. Именно она поддерживала его в момент, когда он получил травму во время съемок. Жена была его музой, когда он стал себя пробовать в качестве сценариста и режиссера. Находилась с ним рядом супруга и до последних дней его жизни.