保延寺は地名で、観音堂の正式な寺号は不明。小字花寺からは、奈良時代の寺院瓦・古銭などが大量に発見され、かつてこの地に大寺院が存在し、早くから仏教文化が根付いていたことがわかる。平安時代後期に保延（１１３５～４１）という年号があることから、あるいは保延年間に開かれた寺として、保延寺と名付けられたのかとも考えられる。また「己高山縁起」には伝教大師が自ら彫刻した像の一つとして「保延寺　阿弥陀」と記されて、かつて保延寺は己高山傘下の一寺院であったことがわかる。