Музей занимает бывшее училище на территории давно исчезнувшего кремля. Один из старейших музеев России, открытый в 1866 году, уже к началу ХХ века был одним из лучших в России, насчитывая более 140 тысяч предметов, сохранив этот статус и ныне. Как и в большинстве музеев, самое интересное — древняя и средневековая история: каменные кресты XII века, макеты утраченных и существующих зданий, оружие, карты, документы и многие другие осколки истории этого древнего края.