Павильон Гуаньинь был построен во времена династии Тан (618-907 гг.), он расположен в центре Южного озера. С 1506 по 1521 годы он служил туалетной комнатой для жены Чжу Чэньхао (князя Нин). На период с 1573 по 1620 годы павильон стал резиденцией премьер-министра Чжан Вэя, другое его название — Дом Цветущих Абрикосов. Когда-то великий драматург династии Мин (1368-1644 гг.), Тан Сяньзу сочинял здесь свои поэмы.

Во времена династии Цин (1644-1911 гг.) павильон был отремонтирован на общественные пожертвования, с целью поклонения духу жены Чжу Чэньхао, и какое-то время здесь находился женский монастырь Иньши. В 1788 году он был заново отреставрирован. И с тех пор павильон стал носить имя Богини Милосердия Гуаньинь. В 1919 году он был снова восстановлен на общественные пожертвования, а последний ремонт был проведен в 1983 году.