Закладка деревянного здания, на месте которого ныне располагается Архиерейское Подворье, была совершена 25 мая (ст. ст.) 1793 года. Здание представляло собой настоятельский корпус Пыскорского Спасо-Преображенского мужского монастыря, переведенного в Пермь в 1781 году по указу Императрицы Екатерины II. На втором этаже корпуса была устроена домовая церковь в честь Святителя Стефана Великопермского. В 1798 году здание было перестроено в камне, став, таким образом, третьим по старшинству каменным зданием г. Перми. Автором проекта считается архитектор Г. Х. Паульсен.
В конце XVIII века в связи с образованием самостоятельной Пермской Епархии с Епископской кафедрой в г. Перми строящийся на горе Слудке монастырь был преобразован в Архиерейский дом. Так здание настоятельского корпуса стало местом молитв и трудов Пермских Архипастырей. Домовая Стефановская церковь получила название Крестовой – в знак того, что находилась «при архиерейских покоях».
В 1800–1920 годах в этом здании проживало 18 Иерархов, управлявших Пермской Епархией: Епископ Иоанн (Островский), Епископ Иустин (Вишневский), Епископ Дионисий (Цветаев), Святитель Мелетий (Леонтович), Архиепископ Аркадий (Федоров), Архиепископ Неофит (Соснин), Архиепископ Антоний (Смолин), Епископ Вассиан (Чудновский), Епископ Ефрем (Рязанов), Епископ Владимир (Никольский), Епископ Петр (Лосев), Епископ Иоанн (Алексеев), Епископ Никанор (Надеждин), Епископ Палладий (Добронравов), Священномученик Андроник (Никольский), Священномученик Феофан (Ильменский), Епископ Борис (Шипулин), Епископ Варлаам (Новгородский).
20 ноября (ст. ст.) 1836 года по благословению Архиепископа Аркадия (Федорова) Крестовая церковь была освящена в честь новоявленного угодника Божия – Святителя Митрофана Воронежского.
В разное время Архиерейский дом посещали многие известные личности: Император Александр I, Цесаревич Александр Николаевич (будущий Император Александр II), обер-прокурор Святейшего Синода Константин Петрович Победоносцев, председатель Совета министров Петр Аркадьевич Столыпин и другие достопамятные лица.
Стены Крестовой церкви слышали молитвы Святых Русской Православной Церкви: Святителей Иннокентия, Митрополита Московского, и Тихона, Патриарха Всероссийского; Праведного Иоанна Кронштадтского; Священномучеников Прокопия, Архиепископа Херсонского, Илариона, Архиепископа Верейского, Мефодия, Епископа Петропавловского, Василия, Архиепископа Черниговского, Николая Тохтуева; Преподобномучениц Великой Княгини Елисаветы и инокини Варвары; Мученика Алексия Зверева.
Архиерейский дом неоднократно перестраивался. Самые значительные перестройки были произведены: в 1853 году, когда по проекту Г. П. Летучего здание было соединено с колокольней Спасо-Преображенского Кафедрального собора, и в 1896 году, когда в результате реконструкции по проекту А. Б. Турчевича Крестовая церковь, до той поры находившаяся на верхнем этаже, была спущена вниз и стала занимать оба этажа здания.
К началу ХХ века Архиерейский дом был неотъемлемой частью духовного центра г. Перми – Архиерейского квартала, простиравшегося от улицы Красноуфимской (Куйбышева) до улицы Оханской (Газеты «Звезда»). При Архиерейском доме действовали Пастырско-миссионерская школа имени протоиерея Иоанна Кронштадтского и псаломщическое училище.
Крестово-Митрофаниевская церковь была одной из самых благоукрашенных в городе; главными ее святынями были Черниговская-Ильинская икона Божией Матери и частица мощей Святителя Стефана Великопермского.
После большевистского переворота многие священнослужители Пермской Епархии, входившие в число братии Архиерейского дома, приняли мученическую кончину.
В 1918 году весь квартал от Соборной площади до улицы Оханской, принадлежавший Архиерейскому дому, был национализирован. Осенью того же года архиерейские покои и Крестовая церковь подверглись разграблению.
Крестовый храм во имя Святителя Митрофана Воронежского был закрыт в 1920 году, вскоре после смерти временно управлявшего Пермской Епархией Епископа Варлаама (Новгородского). В здании Архиерейского дома разместился госпиталь губернского отдела по эвакуации населения. Назначенный на Пермскую кафедру в 1920 году Епископ Сильвестр (Братановский) проживал в крайне стесненных условиях в одном из зданий, ранее принадлежавших Архиерейскому дому, до своего ареста в 1922 году.
В 1922 году здание Архиерейского дома было передано в пользование Пермскому Краеведческому музею, который занимал его вплоть до 2007 года.
28 декабря 2007 года здание Архиерейского дома было возвращено Пермской Епархии. По благословению Преосвященного Иринарха, Епископа Пермского и Соликамского, оно стало Архиерейским Подворьем. В январе 2010 года над Крестовым храмом был восстановлен крест.
По благословению Высокопреосвященнейшего Мефодия, Митрополита Пермского и Кунгурского, в 2010–2017 годах проходили работы по восстановлению росписей и иконостаса Крестово-Митрофаниевского храма.
11 июня 2018 года северный придел Крестового храма был освящен в честь Святых Преподобномучениц Великой Княгини Елисаветы и инокини Варвары.
В 2018 году в помещениях покоев Епископов Пермских был открыт Музей Архиерейского квартала.
С 2019 года при Архиерейском Подворье действует добровольческая организация милосердия «Елисаветинская Лепта».
