庭園の歴史は古く、一説には鎌倉時代にまで遡ります。当時は修験道が隆盛を誇り、幕府も一目おくほどでした。幕府から羽黒に派遣された梅津中将という人は添川に住み、長吏職（司法権と警察権）を三人の息子に分け与え羽黒山を見張らせました。

　随神門近くに屋敷を構えた長吏は下旬長吏と呼ばれたことから、建物は下旬館と呼ばれました。庭園の広さが長吏職の権力の大きさを物語っています。

　戦国時代に長吏は追討されました。江戸初期になると随神門近くの院主に羽黒山別当天宥が冬期間居住したことから、現在の庭園は、造園技術に優れた天宥の作とも伝えられます。

　天宥を継いだ圭海別当以降は下旬館を年貢を収納する蔵屋敷として利用していましたが、明治以後、出羽三山神社の社務所となりました。