Они входили в состав огромного комплекса жилых и парадных зданий, созданных в кремле на волжском берегу при угличском князе Андрее Большом.
Но только при Андрее Большом примерно в 1480-х гг. дворец становится каменным. Это было исключительным событием в истории государства. Ведь только старший брат Андрея великий князь Иван III мог позволить себе каменное строительство, и к тому же каменные дворцы Москвы стали строиться немного позднее угличских. Был создан сложный комплекс зданий. Его облик сейчас трудно представить.
К Палатам пристроили каменное крыльцо, окружили оградой на колоннах, а верхний этаж, служивший тронным залом или княжескими сенями, украсили росписями. Спустя еще сто лет, в 1890-1892 гг., к трехсотлетию гибели царевича Димитрия по инициативе горожан Палаты отреставрировали по проекту архитектора Н.В. Султанова, и в них в 1892 г. был открыт музей.
