어느 해인가 주지승은 절 경내에 서 있는 한 그루를 베어 버리면 청소하기에 용이하다고 생각하고 베도록 하였으나 행자승들이 일제히 반대를 하고 협조하지 아니하므로 손수 큰 톱을 갖다 대고 베기 시작했다. 행자승들이 반대를 한 것은 비록 낙엽질 무렵에는 온 사찰 경내가 지저분하지만 경내에 은행나무가 있어야지 경관에 어울린다며 베는 것을 반대한 것이다.
주지승이 나무를 베기 시작한지 사흘만에 나무가 쓰러졌는데 그와 동시에 은행나무에서는 우유빛 백색물이 솟아나왔고 나무를 벤 주지승은 톱을 쥔 채 현장에서 피를 쏟고 숨을 거두었다. 이와 같은 변고가 생기고 부터 절은 퇴락하게 되었고 이곳에 마을이 생기기 시작하였는데 동구밖에 서 있던 은행나무는 나라에 변고가 있을 때마다 울기 시작했다고 한다.
임진왜란이 일어날 때도 한달 전부터 울었고 6.25동란 때는 약 1주일을 두고 마을이 울리도록 깊은 밤중에 울었다고 한다. 지금도 이 나무는 나라에 변고를 미리 예고해 주는 신기한 나무로 여기고 있는데 보은군 나무로 지정되어 보호를 받고 있다.