옛날 수정봉의 신선이 산봉우리를 정리하다 보니 커다란 바위가 있어야 할 곳에 있지 않고 제멋대로 자리를 변경하였는지라 괘씸하게 생각하여 "너는 이 수정봉에서는 아무 소용이 없는 무용지물이다"하고 산봉우리 밑으로 굴려 버렸는데 그 바위가 현재 위치에 떨어졌다는 것이다. 또 일설에는 하늘나라의 궁전에서 정원사가 돌사이에 낙엽이 쌓여있으므로 그 낙엽을 걷어내고 바위를 옮겨 놓다가 실수를 하여 지구상에 떨어지게 되었고 정원사는 기왕에 떨어질 바에야 명산인 속리산에 떨어지도록 하였다. 그리하여 떨어져 내려온 바위라 하여 추래암이라고 한다는 것이다.