Воинское мемориальное кладбище является частью Леонтьевского кладбища.
Ещё в период Отечественной войны 1812 года и Первой мировой войн у церкви Святого Леонтия были похоронены воины, умершие в лазаретах города. Эти захоронения не сохранились.
Участок именуется воинским с 1888 года, о чём имеется памятная табличка.
В года Великой Отечественной войны здесь хоронили военнослужащих, умерших в ярославских госпиталях, погибших при бомбардировках города, а также скончавшихся в проходящих эшелонах.
Постановлением мэра Ярославля 24 мая 1995 года комплекс воинских захоронений периода Великой Отечественной войны стал именоваться Воинским мемориальным кладбищем. 9 мая 1995 года в день 50-летия Победы состоялось его торжественное открытие. В этот день в основание монумента «Вечная Память» в капсуле было замуровано послание, адресованное потомкам в XXI век, и экземпляр книги «Вечная память» — списка захороненных.
В последующие годы были также установлены стела к 200-летию МВД России в честь сотрудников органов внутренних дел, погибших при исполнении служебных обязанностей и памятник погибшим за Отечество в 1614, 1812, 1914—1918 годах.