8 мая 1858 года Главное управление путей сообщения выдало разрешение на постройку железной дороги от Москвы до Троице-Сергиева Посада протяженностью 66 верст и утвердило устав акционерного общества под названием «Общество Московской-Ярославской железной дороги», возглавляемого Саввой Ивановичем Мамонтовым. В 1862 году Московско-Троицкая железная дорога введена в действие. В 1866—1868 годах ведется обсуждение строительства железной дороги от Сергиева Посада до Ярославля. В 1868 году начались строительные работы. В 1868 же году началось и возведение Московского вокзала при железнодорожной станции «Ярославль» вблизи Московской заставы. К 1 января 1870 года работы по строительству дороги и здания вокзала были закончены.
Первый поезд из Москвы пришёл на станцию 7 февраля 1870 года.
До строительства в 1952 году здания вокзала на станции Ярославль-Главный Московский вокзал был главным вокзалом города, а его станция одним из основных узлов Северной железной дороги.
В 2003 году вокзал реконструирован с сохранением прежнего фасада и интерьеров.