Сад был учрежден в 1559 году чиновником Пань Юньдуанем, который когда-то был губернатором Сычуани, и был расширен в 1577 году. Юйюань местные жители называют Храмом Городского Божества из-за того, что последний находится на территории сада. Он расположен в северо-восточной части Старого Города. Площадь его составляет 5 га. Спроектированный пейзажистом Чжан Наньяном, он стал одним из самых знаменитых на Юге Китая. После разорения семьи Пань, сад пришел в запустение и зарос.

Однако в 1760 году местный дворянин решил его восстановить. Он был главным штабом Восстания Общества Кинжала в 1853 года, во время революции Тайпинов (1851-1864). Восстание под предводительством секретной организации Общества Кинжала в 1853 году против иностранных империалистов в Шанхае и Аомыне, пров. Фуцзянь, был жестоко подавлено.   Часть сада стала базаром и местом собрания гильдий, но на 20 000 кв. м все еще сохранились залы, пруды и павильоны, которые соединялись зигзагообразными переходами. В Весенний зале, который использовался Обществом Кинжала, хранится коллекция монет и оружия того времени. 

Другой достопримечательностью является пятитонный пористый яшмовый камень. Он достигает 4 метров в высоту и обладает удивительной формой. Он был поднят из озера Тайху в Уси, пров. Цзянсу. Его многочисленные складки, дырочки и утонченная форма созданы водой. Если поднести к его нижней части ладан, то дым наполнит каждую щель. А если сверху полить водой, то она будет струиться сквозь камень. Легенда гласит, что он был обнаружен 1000 назад при династии Сун (960-1279). И прежде чем попасть в сад Юйюань, он находился в коллекции таинственных и огромных камней императора Хуэйцзуна. 

Лунный дворец, который высечен в стене восточного прохода Павильона Наслаждения Луной, считается самым ценным среди других резных работ по камню южнее Янцзы. Он изумительно выполнен и насчитывает приблизительно 7 или 8 слоев, которые создают потрясающий трехмерный эффект.