大正4年(1915)に奈良県の依頼で須川尋常高等小学校長だった農澤松吉氏らが編纂した須川村風俗誌が、東里村史(昭和32年(1957))に収められています。その中に「須川の行者様」に触れた下記記述があります(「東里村史」昭和32年(1957)、359頁)。

須川の上出と、下出の村に行者様を御まつりしているが、乾天つゞきになると、村中協議して、各戸に大きな松明を作り、日をきめては村中総出で、先づ上出の行者様に参り、延々松明の列をなして下出の行者山へ参り雨乞をする。すると霊験あらたかに雨が降る。

雨乞いの最初にお参りするのが、上手行者堂だったようです。お堂の周辺はきれいに掃除されていて、今でも地域の皆さんから大切にされているとわかります。ただ、現在県道から上手行者堂へ登っていく道は、なぜか行者堂の裏側に出てきます。かつては上手行者堂の正面側に、須川のいずれかの集落へ続く尾根道があったのだろうと思います。しかし残念なことに今では、尾根筋を歩いていくとゴルフ場に突き当たってしまいます。そのため正面側の道は荒れています。