장현광 선생은 서기 1554년(仁祖 15年)에 세상을 떠난 분으로 자를 덕회(德晦), 호가 여헌(旅軒)이라고 부르는 이로 인동 장씨다.
그는 퇴계 이황(退溪李滉)의 수제자인 한강 정구(寒岡 鄭구)의 제자이자 조카사위로 퇴계의 성리학을 전수 받았으나 이기설(理氣設)에 있어서는 율곡 이이(栗谷 李珥)의 주장에 찬동하였다. 서기 1595년(宣租 28年)에 학문이 높고 행실이 바른 분으로 추천되어 보은현감(報恩縣監-오늘의 군수)에 임명되어 약 21일간 근무하다가 벼슬을 버리고 고향에 돌아갔다. 그 뒤 형조좌랑(刑曹佐郞-법무부 계장급)에서부터 공조판서(工曹判書-건설부장관)에 이르기까지 20여 차례나 벼슬자리에 임명되었으나 그때마다 모두 사퇴하고 오로지 학문 연구에만 몰두했다.
속곳바위의 이야기는 그가 보은현감에 있다 사퇴하고 고향에 돌아갈 때 이야기가 전개된다. 비록 한달 가량 재직하였지만 학문과 덕이 높은지라 고을을 다스림이 남다른 데가 있었다. 또한 고을 백성들고 선생을 존경하고 따랐다. 그러던 선생이 벼슬을 버리고 고향에 돌아간다는 소문이 나자 고을 사람들은 너나 없이 좀더 계셔서 고을을 다스려 달라고 애원하였으나 선생의 뜻을 꺾을 수 없을 깨닫고 이별을 아쉬워 하면서 전별의 선물을 가져왔다.
그러나 워낙 청빈한 현감인지라 모두 물리치고 부임할 때와 마찬가지로 초라한 모습으로 고향 인동(仁同-경북 칠곡군에 있음)을 향하여 길을 떠났다. 행차는 어느덧 군(郡)의 마지막 마을인 적암리에 도착하고 한발만 더 가면 이제 충청도를 지나 경상도 땅인 상주였다. 선생은 걸음을 멈추고 나무그늘에 앉아 보은 고을쪽 하늘을 물끄러미 바라보았다. 아마 그도 가슴에 만감이 오고 갔을 것이다. 선생의 눈길이 멈춘 것은 가난한 자신과 결혼한 이후 고생만 한 아내의 무릎 밑이었다.
그리고 그의 눈은 놀라움에 크게 떠졌다. 아내 치마 밑으로 삐죽이 나온 아내의 속곳이 처음 보는 황홀한 비단 옷 이었다. "여보 부인 내가 가난하여 당신에게 옷 한 벌 못해 주었구려, 참으로 미안한 일이나 이제 부인의 속곳을 보니 처음 보는 비단이구려, 어디서 장만한 옷입니까?"하고 선생이 묻자 부인은 자랑이나 하듯 치마를 조금 더 걷어 오리고는 "이 옷 말씀입니까? 우리 형편에 이와 같은 비단옷을 구할 수 있습니까? 어제 저녁에 당신께서 고향에 돌아가신다고 고을 백성이 섭섭하다고 저에게 선물로 가져온 것인데 처음 보는 비단옷이라 입고 가는 것입니다"고 대답했다.
선생은 이 말을 듣고 한참 후에 "부인, 우리는 참으로 가난하구려, 그러나 가난하다는 것이 자랑이 되지는 못해도 부끄러운 일은 아닙니다. 때문에 나는 남에게 폐가 되는 일은 삼가고 청빈을 낙으로 삼아 살아왔오. 그런데 비록 속곳치마지만 남에게 폐를 주고 선물로 받았으니 참으로 애석한 일이구려" 하면서 다시 눈을 하늘로 돌렸다.
그 말을 들은 아내는 눈물을 글썽이면서 "여보 내가 부덕(아내의 행실이 부족)하여 당신을 욕되게 하였으니 이런 못 쓸 여자가 있습니까? 다행이 이제 아직 보은 땅 이니 저 앞에 보이는 바위 위에 두고 가면 보은에서 받은 물건을 보은에 돌려주는 것이 될 것인 즉 내 이렇게 하겠습니다."하고 속곳을 벗어 바위 위에 걸친 후 다시 길을 재촉하여 고향으로 떠났다 한다. 참으로 그 남편에 그 아내의 행실이 아닐 수 없다. 그 후부터 그 바위를 "속곳바위" 혹은 "치마바위"라 부르기 시작했다는 것이다.