Годом основания Эрмитажа принято считать 1764-й, когда в нескольких залах Зимнего дворца была размещена первая коллекция картин, приобретенных по велению Екатерины II у берлинского купца Гоцковского.
Увлекшись искусством, императрица продолжила покупать картины и скульптуры, приобрела коллекцию резного камня, медалей и монет. Собрание Эрмитажа быстро росло, и вскоре обнаружилось, что для того чтобы разместить все экспонаты, необходимо дополнительное здание. Оно было построено в 1764-1767 гг. и получило название Малый Эрмитаж.
В 1771-1787 по заказу императрицы Екатерины II рядом с Малым Эрмитажем было построено здание Большого Эрмитажа (арх. Ю.М. Фельтен). В 1792 г. Джакомо Кваренги пристроил к Большому Эрмитажу корпус, в котором разместились Лоджии Рафаэля — близкое к оригиналу повторение знаменитой галереи папского дворца в Ватикане.
В 1852 году в здании Нового Эрмитажа был торжественно открыт публичный Императорский музей. Однако попасть в музей было делом весьма хлопотным и доступным далеко не всем — для этого необходимо было получить билет в дворцовой конторе. Но в начале XX века практика обязательного приобретения билета в музей в дворцовой конторе была отменена, и вход стал более свободным.
В 1917 г. Эрмитаж и Зимний дворец были объявлены государственными музеями. В 20-30 годы шел двухсторонний процесс — с одной стороны, в Эрмитаж свозились памятники из других музеев и национализированных частных коллекций, а с другой, произведения искусства из собрания Эрмитажа продавались за границу и передавались в музеи союзных республик. В годы Великой Отечественной войны многие коллекции были эвакуированы на Урал, в 1945 году музей вновь открылся для посетителей.
Сегодня в Эрмитаже работают 8 научных отделов: (Запада, Востока, истории русской культуры, античного искусства и др.), архив, научная библиотека, реставрационные мастерские, научно-техническая экспертиза и др.
Эрмитаж проводит художественные выставки, организует научные конференции, издает каталоги, альбомы, путеводители, организует археологические экспедиции. В год музей посещают более 2,5 миллиона человек.