木津川泉大橋のそばに建つ当寺は、鎌倉時代かつて行基の架けたいわれる泉橋の橋柱をもって文殊菩薩像を刻み、西大寺慈真和尚を開基として橋柱寺と称する一寺を建立された。
其の後、寛文9(1669)年、本寂和尚によって再興し、寺名を橋柱山大智寺と改められた。当寺を一名橋柱寺と呼ぶのはこうした由来による。
本堂、表門、鐘楼、庫裡、書院からなる当寺は、再興に際して東福門院和子{後水尾天皇(法皇)の皇后}により費用が下賜された由来深き寺院である
建物は京の大工による質の高いもので、これだけの伽藍は当時の建物としては眞に珍しい存在とされている。