В династии Цинь (221 г. до н.э. — 206 г. до н.э.) в городе Пинъяо заседало уездное правительство. Сама Резиденция представляет собой целый квартал города со множеством зданий и была построена в 1346 году н.э. во времена династии Юань. Во времена династии Мин большинство зданий были полностью перестроены. Исключением стало само здание правительства (Дасянь Лоу). В резиденции также находилось помещение для суда, тюрьмы, библиотека, а также специальное окно, через которое можно было анонимно похвалить достойного и пожаловаться на нерадивого чиновника. Внутри квартала здания расположены надлежащим китайскому ритуалу образом. Административные постройки находятся по левую сторону от входа, по правую сторону расположены здания охраны. В общей сумме в Резиденции 299 комнат.