鎌倉時代、赤門と呼ばれた浄瑠璃寺南大門がこのあたりにありました。そのそばにあった地蔵堂に祀られていたのがこのお地蔵様です。康永二年（1343年）、この南大門から火災が起こり、浄瑠璃寺の多くの建物が焼け落ちてしまいます。このとき地蔵堂も焼け落ち、中にあった地蔵石仏のみこの地に残りました。

水呑み地蔵の傍らからは、今も涸れることなく、いつも水が涌き出ています。江戸時代初期の剣客、荒木又右衛門がここで休み水を飲み、それから水呑み地蔵と呼ばれるようになった、とも伝えられるわき水です。

この明治時代の地図は、時系列地形図閲覧サイト「今昔マップ on the web」（(C)谷　謙二）により作成したものです。明治時代の地図を見ると、浄瑠璃寺から奈良へ向かう道が、水呑地蔵の前を通り、そのまま、水呑地蔵のわき水が流れる谷沿いに、赤田川上流へ下りていることがわかります（上地図の赤い線）。昔は水呑地蔵へ向かう道が本道だったんですね。その後土砂崩れがあって、現在の道（上地図の緑色の線）に道が付け替えられたそうです。