"40년 수학 난제, AI로 두달 만에 해결… 필즈상 사라질지도 몰라"

                  '23차 다항식 연구팀' 이규환 美코네티컷대 수학과 교수 인터뷰

                                           <3줄 요약>

                              AI 활용해 역 갈루아 난제 M23 해결

                              AI 발전으로 전통적 수학 교육 흔들려

                              AI 통제하고 감시할 수학적 사고 중요

  지난달 논문 사전 공개 사이트 ‘아카이브’에 올라온 한 논문에 전 세계 수학계의 관심이 쏠렸다. 논문 첫 페이지에는 일부 계수가 14자리(수십조)에 달하는 복잡한 23차 다항식이 실렸다. 연구진이 약 40년간 풀리지 않던 수학계의 ‘난제’에 도전해 두 달 만에 찾아낸 해답이다. 온통 수식으로 가득한 수학 논문에 이례적으로 ‘기적적으로(Miraculously)’란 표현이 두 차례나 등장했다.

  연구에 참여한 이규환 미국 코네티컷대 교수(고등과학원 AI 기초과학센터 KIAS 스칼라 겸임)는 7일 본지 화상 인터뷰에서 “인공지능(AI)과 함께 미지의 영역을 헤쳐간 수학자들의 놀라움이 드러난 표현”이라고 했다. 그는 “AI가 독자적으로 푼 것이 절대 아니지만, AI가 없었다면 이렇게 빨리 해법을 찾는 것도 불가능했다”고 했다. AI를 탄생시킨 수학이 이제 AI로 인해 바뀌고 있다는 것이다. 이 교수는 “앞으로는 AI가 내놓은 수학적 결과를 인간 수학자가 뒤따라 분석하는 시대가 올 수 있다”고 했다.

  이규환(오른쪽에서 두번째) 미국 코네티컷대 교수가 수식이 적힌 칠판 앞에서 동료 수학자들과 토론하고 있다. 이 교수 연구팀은 인공지능(AI)을 활용해 약 40년간 풀리지 않던 수학 난제 ‘M23’을 두 달 만에 해결했다. /이규환 교수

                            ◇AI가 가져온 답, 수학자들이 뒤따라 이해

  이번에 풀린 난제는 ‘역(逆) 갈루아 문제’에서 가장 오랫동안 미해결로 남아 있던 ‘M23’이다. 방정식의 해들은 일정한 방식으로 서로 바꿔도 해들 사이의 계산 관계가 유지되는 ‘대칭’을 갖는다. 이중 M23이라는 특별한 대칭 구조를 갖도록, 유리수(정수·분수)를 계수로 쓰는 23차 방정식을 만들어내는 문제가 끝까지 풀리지 않은 채 남아 있었다. 이를 이규환 교수 연구팀이 AI를 활용해 해낸 것이다.

  걸린 시간은 불과 두 달. 지난 5월 말 미국수학연구소(AIM) 워크숍이 계기였다. AI는 방대한 계산과 코딩, 가설 후보 검증 등을 빠르게 수행했다. 다만 어떤 방향으로 계산을 할지, 계산 결과가 수학적으로 맞는지 판단하는 것은 사람의 몫이었다. 이 교수는 연구 과정에서 “2016년 알파고가 이세돌 9단과 대국에서 던진 ‘37수’ 같은 경험도 했다”고 했다. 당시 정상급 기사들이 이해 못했던 수가, 나중에 보니 승부를 가른 ‘신의 한 수’였다. 그는 “AI가 먼저 맞는 계산 결과를 가져왔는데, 처음에는 어떻게 AI가 그런 결과를 내놨는지 이해하지 못했다”며 “AI가 앞서가면 인간이 뒤따라 이해해야 하는 시대가 온 것”이라고 했다.

  그렇다면 AI의 수준은 어느 정도일까. 그는 “박사과정 말년이나 박사후연구원에 가깝다”고 했다. “예전에는 학생에게 자료를 찾아보라고 하면 다음 날 결과를 받았지만, 지금은 AI에 시키면 10분 안에 답이 온다”는 것이다. 며칠씩 걸리던 코딩도 AI가 짧은 시간에 해냈다. 그는 인간과 AI의 기여도를 묻자 “오케스트라에서 지휘자와 연주자의 기여도를 몇 대 몇으로 나누기 어려운 것과 같다”고 했다.

                             ◇“혼란기 넘기면 수학의 황금기 올 수도”

  이런 협업은 수학자를 키우고 평가하는 방식까지 흔들고 있다. 이 교수는 “전통적으로 박사과정 학생에게 3년에 걸쳐 풀도록 줄 문제를 AI가 3일 만에 푼다면, 그 학생에게 같은 문제를 3년간 공부하라고 할 명분이 사라진다”고 했다. 그는 “2년 전만 해도 수학은 AI가 하기에는 아직 멀었다고 생각했다”며 “이렇게 분위기가 바뀐 것은 6개월도 채 되지 않았다”고 했다.

  수학계의 ‘노벨상’으로 불리는 필즈상도 큰 변화를 맞게 될 수 있다. AI와 함께 낸 성과를 어디까지 인간의 업적으로 인정할지 기준을 세우기 어려워지기 때문이다. 이 교수는 “2030년이 마지막 필즈상일 것이라는 수학계 전망도 있다”며 “AI와 얼마큼 협업했는지 명확한 선을 긋기 어려워지기 시작하면 필즈 메달도 정말 없어질 수 있다”고 했다.

  그는 앞으로 5~10년간 수학계가 혼란을 겪을 것으로 내다봤다. 전통적인 방식으로 교육받은 젊은 수학자들이 자신을 어떻게 훈련하고 어떤 문제에 도전해야 할지 몰라 방황할 수 있다는 것이다. 그러나 이 시기를 잘 넘기면 “수학의 황금기가 될 수도 있다”고 했다. “인간이 AI를 ‘아이언맨 슈트’처럼 활용하면 혼자서는 엄두도 내지 못했던 문제에 도전할 수 있다”는 게 그의 말이다.

  이 교수는 “AI가 강력해질수록 인간의 수학적 사고가 더 중요해질 것”이라고도 했다. AI의 답을 이해하고 검증할 능력을 잃으면, AI가 잘못된 방향으로 나아가도 알아채기 어렵다는 것이다. 그는 “AI에 끌려가는 사람이 아니라 AI를 통제하고 감시할 수 있는 사람은 수학적 능력이 뛰어난 사람일 것”이라고 했다. 스스로 생각하고 판단하는 ‘호모 마테마티쿠스’, 수학적 인간이 AI 시대에 문명의 방향을 지키는 주역이 될 것이라는 뜻이다.

                                               ☞역(逆) 갈루아 문제

  보통의 수학은 방정식을 준 뒤 정답을 구하라는 식이다. 반대로 원하는 정답 모양을 줄 테니 이 답이 나오는 문제를 만들라는 게 역갈루아다. 방정식의 새로운 원리를 제시한 프랑스 수학자 갈루아의 이름을 땄다. 요리를 먹어보고 무슨 맛인지 알아내는 게 보통 수학이라면 역 갈루아는 특정한 맛을 먼저 정해놓고, 그 맛이 나는 요리를 만들라는 문제다. 그동안 제시된 26종의 별난 맛 중에서 25종은 그 맛을 내는 요리가 만들어졌다. 하지만 M23이라는 맛은 40년 동안 만들지 못했는 데 이 교수 연구팀이 해결했다.<이규환, “40년 수학 난제, AI로 두달 만에 해결… 필즈상 사라질지도 몰라", 조선일보, 2026.9.8일자. A8면.>

                                  이규환(56) 교수는

                      .서울대 수학과 학사·석사·박사

                      .전공분야: 순수수학, 대수학, 수론

                      .현재 미국 코네티컷대 수학과 교수, 한국과학기술원 부설

                       고등과 학원(KIAS) 스칼라

                      .대표 연구: AI를 이용한 타원곡선의 새 패턴(머머레이션) 발견