鳥取県の昔は、「因幡の雨、伯耆の風」といわれるように、二つの旧国名に分かれて、それぞれ国府が設置されていた。
摂関政治の華やかなころ、因幡国は藤原惟憲のあと橘行平が任ぜられた。その様子を『因幡堂薬師縁起絵巻』の「受領下国の図」に見ることができる。この縁起絵巻にいう因幡薬師は、座光寺の本尊であった。それを橘行平が都に持ち帰ったのである。そのことについて、寺史はおよそ次のように伝えている。
古海郷に大豆桑堂を祀ったのが初めといわれる。天徳年間(957~961)に創建、薬師寺と称されていた。
以来、およそ四十六年間、安置していた薬師仏を、因幡国司に赴いた橘行平が京都へ持ち帰り、自家を改築して因幡堂と称したのが、京都の松原通り烏丸にある現在の平等寺である。
一方、因幡の薬師寺では、残った台座と光背をもって座光寺と改称。ときに寛弘年間 (1004~1012)であるが、延宝年間 (1673~1681)に行平の屋敷跡に寺構を移して、菖蒲山座光寺薬師院と号した。
正徳二年(1712)僧伝海が中興した。その慶びも束の間、天明六年(1786)1月農民一揆で堂宇を全焼、惜しくも光背を焼失したが、台座だけは難を免れた。現堂宇はその後の再建である。