Музей был открыт 14 сентября (по старому стилю) 1869 года на ул. Екатерининской в доме одного из руководителей первой обороны Севастополя генерала Э. И. Тотлебена. Комитет по сбору средств на открытие музея возглавлял редактор военной газеты «Русский инвалид», генерал-лейтенант П. К. Меньков.

1 декабря 1869 года российский император Александр II издал указ о передаче Севастопольскому музею имения в деревне Эмир Таврической губернии Бердянского уезда площадью 1936 десятин. Патроном музея и находившихся в его ведении благотворительных учреждений стал великий князь Александр Михайлович. При музее в 1874 года были построены приют для инвалидов, школа на 40 учеников (преобразованная позже в ремесленное училище), Ксеньинская церковно-приходская школа на 300 учащихся, школа соломоплётения для девочек.

28 июня 1892 года началось и 5 октября 1895 года было завершено строительство нового здания для музея по проекту академика А. М. Кочетова. Было затрачено 150 тыс. рублей, из них 100 тысяч затратили морские и военные ведомства, причём последнее выделило также и участок под его постройку. Здание было выполнено в строгом классическом стиле, с чугунными и бронзовыми украшениями. На главном фасаде был изображён «севастопольский знак»: крест и число 349, означающее количество дней обороны. Боковые фасады были украшены чугунными арматурами, изображающими части парусных кораблей, пушки, прикрытые бронзовыми знаменами. Украшения фасадов и интерьера были выполнены по проекту одесского скульптораБ. В. Эдуардса.

усская общественность собрала значительные средства и большое количество материалов, среди которых были личные вещи руководителей обороны города В. А. Корнилова и П. С. Нахимова, картины известных русских художников И. К. Айвазовского, Ф. А. Рубо. В дальнейшем из коллекции императора Александра II в дар музею была передана картина И. К. Айвазовского, великие князья передали саблю командующего турецкой эскадройОсман-паши, подзорную трубу П. С. Нахимова, вдова М. П. Лазарева передала в дар музею его награды. По каталогу 1913 года в музее уже насчитывалось свыше двух тысяч экспонатов, в середине 2000-х годов — свыше 30 тысяч экспонатов.

В период второй обороны Севастополя музей продолжал работать и пополняться экспонатами, которые приносили защитники города. Часть наиболее ценных экспонатов была эвакуирована в Баку, затем в Ульяновск. Оставленная часть экспозиция из-за того, что здание музея было частично разрушено, была переведена в зданиекартинной галереи. После освобождения Севастополя от фашистов здание было восстановлено, и 15 августа1948 года музей возобновил выставочную деятельность.