Сад был учрежден в 1559 году чиновников Пань Юньдуанем, который когда-то был губернатором Сычуани, и был расширен в 1577 году. Юйюань местные жители называют Храмом Городского Божества из-за того, что последний находится на территории сада.

Он расположен в северо-восточной части Старого Города. Площадь его составляет 5 га. Спроектированный пейзажистом Чжан Наньяном, он стал одним из самых знаменитых на Юге Китая. После разорения семьи Пань, сад пришел в запустение и зарос.

Однако в 1760 году местный дворянин решил его восстановить. Он был главным штабом Восстания Общества Кинжала в 1853 года, во время революции Тайпинов (1851-1864 ГГ.). Восстание под предводительством секретной организации Общества Кинжала в 1853 году против иностранных империалистов в Шанхае и Аомыне, пров. Фуцзянь, был жестоко подавлено.

Часть сада стала базаром и местом собрания гильдий, но на 20,000 кв. м. все еще сохранились залы, пруды и павильоны, которые соединялись зигзагообразными переходами. В Весеннем зале, который использовался Обществом Кинжала, хранится коллекция монет и оружия того времени. Другой достопримечательностью является пятитонный пористый яшмовый камень.

Он достигает 4 метров в высоту и обладает удивительной формой. Он был поднят из озера Тайху в Уси, пров. Цзянсу. Его многочисленные складки, дырочки и утонченная форма созданы водой. Если поднести к его нижней части ладан, то дым наполнит каждую щель. А если сверху полить водой, то она будет струиться сквозь камень. Легенда гласит, что он был обнаружен 1,000 лет назад при династии Сун (960-1279 гг.). И прежде чем попасть в сад Юйюань, он находился в коллекции таинственных и огромных камней императора Хуэйцзуна.

Лунный дворец, который высечен в стене восточного прохода Павильона Наслаждения Луной, считается самым ценным среди других резных работ по камню южнее Янцзы. Он изумительно выполнен и насчитывает приблизительно 7 или 8 слоев, которые создают потрясающий трехмерный эффект.