昔ながらの佇まいを今に残す参道を上ると鮮やかな朱色をした桜門様式の仁王門が現われる。国の重要文化財に指定されている。本堂、内陣には本尊の如意輪観音菩薩が安置されており古くから厄除け観音として信仰を集めてきた。奈良時代の作で、高さ４．６ｍの塑像は日本最大の土佛である。もとは彩色がしてあったというが、今はほとんどが剥落してしまいわずかに唇に朱が残っている。重文に指定されており、弘法大師がインド、中国、日本と三国の土を合わせて造ったという壮大な寺伝がある。

創建は天智天皇２年（６６３）に義淵僧正が岡宮の跡地に寺を建立したのがはじまりと伝えられている。義淵僧正は日本の法相宗の祖といわれているが、その出生は謎である。寺伝によると子供に恵まれない夫婦が祈願した末に、家の柴垣の上に白い布にくるまれて置かれていた赤子が義淵僧正だったという。観音菩薩の授かりものと大事に育てられ、それを聞いた天智天皇が引き取り、岡の宮で養育された。後に義淵僧正は岡宮を譲り受けた。

龍蓋寺の名前の由来になった伝説も残っている。大雨や強風を巻き起こし村民を苦しめていた龍をその法力をもって池に封じ込め、そこに大きな石で蓋をしたという。その時の池が本堂前にある龍蓋池である。境内には重文の書院の他、開山堂、弘法大師を安置する大師堂、三重宝塔、鐘楼堂、十三重石塔などがある。