かつて、賤ヶ岳の麓に小さな湖があり、弘法大師がここに住む竜を退治し、十一面観音像を刻み、竜の魂を封じ込めた。その後、峠を切り開き、旅人の安全を願い、御堂を建立したと伝えられている。
天正11年、賤ヶ岳の合戦の兵火により御堂は焼失したが、観音様は里人の手により難を逃れ、夢のお告げにより仁王門後に御堂を建て、焼け焦げた仁王像と共に安置されている。