六百四十五年、孝徳天皇の大化元年にインドより法道仙人（ほうどうせんにん）が渡来されました。
この地に霊気を感じた、法道仙人は地形が釈迦牟尼仏（しゃかむにぶつ：お釈迦様）の聖跡である
耆闍崛山（ぎしゃくつせん）に良く似ていることからこの洞中に滞在しました。
去るに当たって念持仏として奉持された金銅仏一体を残しました。
これが羅漢寺の期限だと言われています。
平安時代には、山岳仏教の霊地として天台宗の時期もあったようです。
その後、後醍醐天皇の延元（えんげん）二年（1337年）には、臨済宗祖の円龕昭覚（えんがんしょうかく）が訪れました。
この昭覚が十六羅漢の画像を描いて洞窟のなかに掲げたことから、羅漢寺と呼ばれるようになったと
いわれています。
さらに、中国の逆流建順（ぎゃくりゅうけんじゅん）がこの地へやってきました。
建順は昭覚と協力して、羅漢寺に五百羅漢像や千体地蔵を安置しました。
このことを知った室町将軍の足利義満（あしかがよしみつ）も羅漢寺に帰依するようになりました。
また、この地を治めていた細川家からの支援もありました。
しかし、戦国時代、大友宗麟（おおともそうりん）が領内寺院を邪宗として焼き払いました。
羅漢寺もほとんどの伽藍（がらん）を焼失してしまいました。
以来臨済宗二十六代を経て、慶長五年（1600年）に、長州深川大寧寺より曹洞宗の鉄村玄さく（てつそんげんさく）が
入山され曹洞宗に改まってから現住職まで二十七代であります。
玄さくは、細川忠興（ただおき）の帰依や援助を受けて、羅漢寺の復興に努めました。
本寺は、昭和十八年に火災で焼失、現在の本道は昭和四十四年に再建されたものです。