정여창 사후 300년 뒤인 1802년 전세걸 세택 형제가 정여창을 기려 유영대 위에 세운 정자다.걸․택형제는 정선 전씨 입향조이며 거연정의 주인인 전시서의 5대손이다. 형제는 정여창이야 말로 조선을 대표하는 군자라고 믿었고 정여창의 학문적 성취와 인덕을 기려 군자정이라 이름했다.

유교에서 군자란 도덕적으로 완성된 인격자를 말한다. 높은 도덕성을 가진 사람을 말하며 선비들의 롤모델이다. 《예기》〈곡례〉편에는 ‘많은 지식을 갖고 있으면서도 겸손하고 선한 행동에 힘쓰면서 게으르지 않은 사람’이라고 규정하고 있다. 《논어》〈학이〉편에서는 ‘군자는 식사하는데 배부르기를 바라지 않고 거처하는데는 편안하기를 바라지 않고 일에 민첩하며 말에 조심스럽고 인격을 갖춘 사람에게 나아가 자신을 바로잡는다’라고 말하고 있다.

정작 정여창의 삶은 그리 녹녹하지 않았다. 세파에 흔들리며 삶의 뿌리가 통째로 뽑혔다. 김굉필 남효온 김일손과 함께 김종직의 제자였던 정여창은 고향인 안의에서 안의현감을 지내던 중 갑자사화에 연루돼 곤장 100대에 천리 밖 유배의 혹독한 형벌을 받았다. 국토의 최북단 함경도 종성으로 유배를 떠났다. 그는 종성으로 가던 중 안령에서 암담한 심정을 ‘안령에서 바람을 기다리며’라는 시로 노래했다.

큰 바람 있으련만 바람오지 않고 大風風不至
뜬 구름이 푸른 하늘을 가리었네 浮雲蔽靑天
어느 날 서늘한 바람 일어나 何日凉飄發
여러 그늘을 쓸어내고 다시 하늘을 보리 掃却郡陰更見天

이희증과 고숭걸 같은 인물이 역사에 이름을 남겼다. 이 때문에 그는 종성땅에서도 서원에 배향되기도 했다. 그러나 그러한 간난신고(艱難辛苦) 속에서도 정여창은 학문 연구에 매진했고 제자들을 가르쳐 사림의 씨를 뿌리는 일을 게을리 하지 않았다.

9년 기한의 유배 생활을 다 채우지 못하고 그는 갔다. 유배를 떠난 지 7년 만에 55세를 일기로 세상을 떠났다. 그의 불행은 거기서 그치지 않았다. 무오사화가 일어났다. 정여창은 세상을 떠났던 그해에 부관참시까지 당했다. 3년 동안 세자시강원설서로 연산군의 공부를 담당했던 그는 공부를 놓고 연산군과 갈등을 빚었다. 그게 악연이었다. 악연을 피해 안의현감을 자원했던 그는 결국 사화의 그물망을 벗어나지 못하고 유배에 이어 죽어서 까지 칼을 맞는 비극적인 삶을 살았다. 

정여창의 호 ‘일두’는 ‘한 마리 좀벌레’라는 뜻이다. 성리학의 태두인 정이천(程伊川)의 ‘하늘과 땅 사이 한 마리 좀벌레 天地間一蠹’ 싯구에서 따왔다. “농부는 무더위와 한겨울에 열심히 경작하여 내가 이 곡식을 먹고, 공인이 어렵게 기물을 만들어 내가 이를 사용하고, 군인이 갑옷을 입고 병기를 들고 지켜 내가 편안히 지낼 수 있는데, 다른 사람에게 은택을 주지 못하고 그럭저럭 세월만 보낸다면 ‘하늘과 땅 사이의 한 마리 좀벌레’에 불과하다”

사람이 태어날 때 자신의 의지와 관계없이 세상에 오는 것과 마찬가지로 이름도 자신의 의지와 관계없이 정해진다. 반면 자기가 짓는 호는 자신 생각이나 철학, 의지가 분명하게 드러난다. 정여창이 자신의 호를 ‘한마리 좀벌레’라고 한 것은 나태해지고 용렬해지는 자신을 호되게 몰아 부치기 위해서다. 더 많은 수양과 더 높은 단계의 공부에 매진해야 한다는 다짐이기도 하다.

정여창이 23살이 되던 해 김종직이 함양군수로 부임해왔다. 조선 성리학의 정통계보는 정몽주 길재 김숙자로 이어진다. 김종직은 김숙자의 아들이다. 정여창은 김굉필과 함께 김종직의 문하로 들어간다. 절의와 기개를 제일의 가치로 여기는 공부를 하면서 그때 쯤 부족한 자신을 채찍질 하기 위해 호를 ‘일두’라고 지었다. 

정자 내부에는 김선익이 쓴 ‘군자정 중수기’와 송래희 윤수익 정계춘이 쓴 시판이 걸려 있다. 정자 앞 계곡에는 울퉁불퉁한 바위가 쏟아져 내려있고 그 곁을 스치고 지나는 물소리는 호호탕탕 장쾌하다. 계곡 건너편 절벽에 있는 바위가 영귀대詠歸臺다. 절벽에 ‘영귀대’라고 새긴 뒤 붉은 물감을 넣어 눈에 띈다. 군자정 안에서 보는 영귀대나 영귀대에서 보는 군자정이 서로 경물이 된다.

지팡이에 의지하고 차가운 물에 임하니
옷깃을 헤치고 늦은 바람 씌우네
서로 만난 좋은 군자들은
헛되이 고기 잡는 늙은 이라 이르더니라
수사의 정맥이요 염락의 준적이라
유요는 만번 변하지만
성인의 한마디 말씀 내몸에 있어
지게를 열어 갖추었으니
도는 경옥을 통하여 만고에 떨쳤도다
전세걸의 시 ‘주부자군자정시’

정자는 정면 3칸 측면 2칸 규모이다. 암반 위에 세운 중층 누각 건물로 홑처마 팔작지붕집이다. 기둥은 모두 원주를 사용하였고 주춧돌은 사용하지 않았다. 판재로 만든 계단을 두어 정자로 오르게 되어 있으며 4면 모두 기둥의 바깥쪽으로 약 15~18cm 정도를 연장하여 계자난간을 둘렀다. 바닥은 장마루이다.