大宝三年(703)、当山の開祖とされる法相宗の高僧日證上人が琴弾山山頂に草庵を結んで修行をしていた折、鎮西宇佐の宮(現大分県・宇佐神宮)より、八幡大菩薩が降臨され、海の彼方には神船が琴の音と共に現れた。上人は、里人と共に神船と琴を引き上げて、山頂に琴弾八幡宮を祀り、神宮寺を建立して、当山は仏法流布、神仏習合の霊地と定められた。
　時は平安の世に移り、唐より帰朝された宗祖弘法大師が、大同二年(807)に当山に参籠。八幡大菩薩の御託宣を感得され、薬師如来・十二神将・聖観世音菩薩・四天王等の尊像を刻み、七堂伽藍を建立。山号を七宝山、寺号を観音寺と改められ、八幡宮の別当に神恵院をあてられた。大師はしばしの間、当山に留まられ第七世住職を務められたと寺伝にある。以後、真言密教の道場として寺門は隆盛を極めた。
　四国における弘法大師巡錫の霊跡は、遍路修行の地として僧俗問わず広く信仰を集め、やがて四国八十八ヶ所霊場が形成されていく。当山においては、琴弾八幡宮が第六十八番札所、観音寺が第六十九番札所として参詣され、一山に二霊場の形態となる。
　その後、江戸幕府が倒れ明治維新を迎えると、新政府の神仏分離令布告により、琴弾八幡宮は四国霊場から切り離されることとなった。八幡大菩薩の本地仏である阿弥陀如来は観音寺西金堂に移り、別当であった神恵院が第六十八番札所とされ、現在のように一境内に二つの札所が並び立つ由縁となっている。

平成14年の大師堂改修に併せて、現在地に本堂を移築した。以前は、観音寺本堂前を横切った先の階段の上に位置していたが、約20ｍ南側に移築され、コンクリート造りの外壁を持つ、モダンな雰囲気に生まれ変わった。八幡大菩薩の本地仏である阿弥陀如来を祀る。

当本堂は、観音寺金堂とも呼ばれ、元あった東・西・中の三金堂の内の中金堂であり、平安時代初期に建立されたが、幾度かの改築の後、大永五年(1525)十二月に、法印澄瑜が大檀那源(細川)氏信以下の寄進により再建したものが現在の建物であると、記録に残る。なお、昭和三十六年(1961)に解体修理を行った。本尊聖観世音菩薩、脇侍に釈迦如来、薬師如来を祀る。

山門脇に鎮座する天神社。名前の由来は、ある夜、庵に極めて尊い声が訪ねて来たが、沓の音のみで姿が見えず、後を追うとこの社で音が消えたとの伝説から名付けられた。近隣にある一夜庵の庵主山崎宗鑑が篤く信仰した。現在でも、受験シーズンになると合格祈願に訪れる善男子善女人の姿が後を絶たない。

かつての六十八番本堂であるが、平成14年の本堂移築により、当堂は薬師堂として現在に至る。
毎月8日には、本尊薬師如来ご宝前にて、山主による護摩祈祷が厳修されている。

第六十八番大師堂及び十王堂背後にある山の斜面と岩石、流水を上手く利用している回遊式の庭園。当山第四十五世大政大僧正正道尊和上の作庭である。昭和51年の災害により大半を失う憂き目に遭ったが現在も初夏にはつつじの花、秋は紅葉が楽しませてくれる。