Со стороны собора палаты окружены невысокой каменной стеной с воротами, а с другой стороны - земляным валом. Снаружи над палатами виден маленький купол домовой трапезной церкви, восстановленной в формах XVI века:
В состав Архиерейских палат входят жилые постройки, хозяйственные, трапезная палата и упомянутая домовая епископская трапезная церковь. В конце XVII века при митрополите Илларионе все эти строения, прежде стоявшие порознь, были объединены в единый комплекс при помощи переходов, галерей и потайных лестниц.
Тогда же была построена огромная бесстолпная Крестовая палата для торжественных приемов, площадью в 338 кв. м и с девятиметровыми потолками.
К сожалению, до наших дней подлинный свод не сохранился, он был восстановлен в 1967-1970гг. под руководством архитектора А.Д.Варганова и инженера В.В.Пластина.