보은군 내속리면 사내리 산 1-1 수정동 뒷산에 걸방바위가 있는데 먼 곳에서 보면 곧 굴러내려 올 것처럼 보인다. 이 바위는 옛날 금강산 일만 이천봉을 모집할 때 강원도 설악산의 울산바위가 금강산으로 가는 도중 설악산 경치에 매료되어 산세를 구경하다가 금강산 일만 이천봉을 구성하는데 참여를 못하고 설악산에 머물렀다 하듯이 속리산의 걸방바위도 금강산으로 가는 도중에 현재의 위치에 와 쉬면서 속리산 경치를 구경하다 늦어서 속리산에 머무르게 되었다 한다.
또 다른 하나의 전설은 조선 인조 때 임경업 장군이 속리산에서 7년 간 수도를 할 때 큰 암석을 걸방으로 져서 놓았다 하여 걸방바위라 칭하는데 그 바위에는 걸방끈 자국이 나타나 있다.