Резиденция семьи Ван включает в себя 54 двора с 1,052 комнатами. Особняк расположен в холмистой местности, его строительство заняло более полувека. Впервые особняк стал местом проживания представителей клана Ван в 1312 году. История клана началась на фермерском поле, когда предки Ванов выращивали сою и продавали соевые творог и молоко. Позже представители семьи стали видными бизнесменами и уважаемыми чиновниками, имели финансовое и политическое влияние в стране.

Весь комплекс разделен на три крупных двора. Восточный двор расположен на склоне холма и включает в себя 13 малых дворов. Замок Красных Ворот, другой крупный двор, обнесен высокой стеной с лишь одним входом; ворота на входе выкрашены в яркий красный цвет. В третьем комплексе дворов расположен фамильный Храм Предков.

Организация комплекса спланирована так, чтобы улицы и дворы образовывали китайский иероглиф «Ван», которым обозначается фамилия клана. Здания резиденции оформлены в традиционном стиле и украшены резными деревянными панелями, расписными плитками и небольшими скульптурами. После шести столетий процветания клана Ван, удача начала отворачиваться от его представителей. С приходом японских захватчиков глава клана Ван Ичжан продал семейные магазины и принял решение покинуть фамильный особняк. После часть построек особняка была заселена другими людьми, а часть превращена в музей.