[논문리뷰] AI는 학생을 가르쳤나, 대신 풀어줬나?

Generative AI without guardrails can harm learning: Evidence from high school mathematics

저자: Hamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman

게재 정보: Proceedings of the National Academy of Sciences, 122(26), e2422633122, 2025.

문제를 풀어주는 것과 가르치는 것은 다르다

생성형 AI는 교육 현장에서 빠르게 확산되고 있다. 학생은 이해되지 않는 개념을 질문할 수 있고, 복잡한 문제의 풀이 과정도 즉시 확인할 수 있다. 이러한 기능만 보면 생성형 AI는 언제든 활용할 수 있는 개인 맞춤형 교사처럼 보인다.

그러나 학생이 AI의 도움을 받아 문제를 맞히는 것과 그 문제를 스스로 해결할 수 있을 만큼 학습하는 것은 서로 다른 문제다. AI가 학생 대신 사고하고 답을 제시한다면 당장의 과제 수행은 쉬워지지만, 학생에게 필요한 개념 이해와 문제해결 경험은 충분히 형성되지 않을 수 있다.

Bastani와 동료 연구자들은 이러한 문제의식에서 출발해 생성형 AI가 학생의 수학 학습에 실제로 어떠한 영향을 미치는지를 대규모 현장실험으로 검증했다. 연구의 핵심 질문은 단순히 “AI가 학습에 도움이 되는가”가 아니었다. 연구진은 AI가 어떠한 방식으로 설계되고 학생에게 어떤 도움을 제공하느냐에 따라 학습 결과가 달라지는가를 살펴보았다.

약 1,000명의 고등학생을 대상으로 한 현장실험

연구는 튀르키예의 한 대규모 고등학교에서 진행되었다. 연구진은 9학년부터 11학년까지 약 50개 학급, 1,000명에 가까운 학생을 대상으로 네 차례의 90분 수학 수업을 실시했다. 학생들은 학급 단위로 세 가지 조건 가운데 하나에 무작위로 배정되었다.

첫 번째는 일반적인 ChatGPT와 유사한 방식으로 작동하는 GPT Base 집단이었다. 학생들은 문제에 관해 자유롭게 질문할 수 있었으며, AI는 풀이와 정답을 직접 제공할 수 있었다.

두 번째는 학습 안전장치가 적용된 GPT Tutor 집단이었다. 이 AI는 학생에게 정답을 바로 알려주기보다 단계적인 힌트와 질문을 제공하도록 설계되었다. 특히 교사가 작성한 정답, 예상되는 학생의 오류, 피드백 방식이 프롬프트에 포함되어 AI가 학생을 보다 정확하게 안내할 수 있도록 했다.

세 번째는 생성형 AI를 사용하지 않고 교과서와 수업 자료만 활용한 통제집단이었다.

수업은 크게 두 단계로 구성되었다. 먼저 학생들은 각 집단에 배정된 도구를 활용해 연습문제를 풀었다. 이후에는 모든 도구와 자료를 사용할 수 없는 상태에서 유사한 문제로 구성된 시험을 치렀다. 이러한 설계를 통해 연구진은 AI가 문제를 푸는 순간의 수행뿐만 아니라, AI가 사라진 뒤에도 학생에게 실제 학습이 남아 있는지를 확인했다.

AI를 사용할 때는 잘 풀었지만, AI가 사라지자 결과가 달라졌다

연습문제를 푸는 동안 생성형 AI는 학생들의 수행을 크게 높였다. AI를 사용하지 않은 통제집단과 비교했을 때 GPT Base 집단의 연습문제 성적은 약 48% 높았고, GPT Tutor 집단은 약 127% 높은 성과를 보였다. 특히 교사가 제공한 문제별 정보와 힌트를 활용한 GPT Tutor의 효과가 더욱 크게 나타났다.

그러나 생성형 AI를 사용할 수 없는 시험에서는 전혀 다른 결과가 나타났다. 일반적인 챗봇 형태의 GPT Base를 사용했던 학생들은 통제집단보다 시험 성적이 17% 낮았다. AI가 제공되는 동안에는 문제를 더 잘 풀었지만, 정작 AI 없이 스스로 문제를 해결해야 할 때에는 오히려 낮은 성과를 보인 것이다.

반면 GPT Tutor 집단의 시험 성적은 통제집단과 통계적으로 유의한 차이를 보이지 않았다. 이는 단계적인 힌트와 정답 제공 제한이 GPT Base에서 나타난 부정적 학습 효과를 대부분 완화했다는 의미다. 그러나 GPT Tutor를 사용한 학생들이 AI를 사용하지 않은 학생들보다 더 높은 독립적 학습 성과를 보인 것은 아니었다.

따라서 이 연구를 “가이드형 AI가 학생의 학업성취도를 향상시켰다”고 해석해서는 안 된다. 보다 정확한 해석은 제한 없는 AI는 학습을 저해할 수 있으며, 적절한 안전장치는 그러한 부정적 효과를 줄일 수 있다는 것이다.

학생들은 AI를 학습 도구가 아닌 ‘목발’로 사용했다

연구진은 학생과 AI 사이의 대화 기록을 분석해 이러한 차이가 발생한 원인을 살펴보았다. 그 결과 GPT Base를 사용한 학생들은 AI에게 정답을 직접 요구하고, 제공된 풀이를 그대로 사용하는 경향이 나타났다. AI가 학생의 사고를 지원하는 도구가 아니라, 문제를 대신 해결해 주는 일종의 ‘목발’로 사용된 것이다.

반면 GPT Tutor는 정답을 즉시 제공하지 않고 학생에게 무엇을 알고 있는지, 어느 단계에서 어려움을 겪고 있는지, 다음에는 무엇을 시도해야 하는지를 질문했다. 학생이 먼저 문제를 해결하도록 유도하고, 필요한 경우에만 단계적인 힌트를 제공했다.

일반형 AI가 언제나 정확했던 것도 아니다. 연구진이 학생들이 가장 자주 사용한 질문 방식으로 57개의 연습문제를 반복해 물었을 때, GPT Base가 정답을 제시한 비율은 평균적으로 약 절반에 그쳤다. 그럼에도 학생들은 AI의 답변을 충분히 검토하지 않은 채 활용하는 모습을 보였다.

이는 학생이 AI를 사용하기 위해서도 해당 영역에 대한 기초지식과 판단 능력이 필요하다는 점을 보여준다. 내용을 충분히 이해하지 못한 학생은 AI의 오류를 발견하기 어렵고, 잘못된 설명을 그대로 학습할 가능성도 있다.

AI의 교육적 효과는 기술보다 설계에 달려 있다

이 연구의 가장 중요한 메시지는 생성형 AI 자체가 본질적으로 교육에 유익하거나 해로운 것이 아니라는 점이다. 학습 효과를 결정하는 핵심 요인은 AI의 존재 여부보다 AI가 학생에게 어떠한 방식으로 개입하도록 설계되어 있는가이다.

학생이 요청하는 즉시 정답과 완성된 풀이를 제공하는 AI는 단기적인 과제 수행을 돕는다. 하지만 학생이 문제를 이해하고, 전략을 선택하고, 오류를 수정하는 과정까지 대신해 버릴 수 있다. 이 경우 높은 연습문제 점수는 실제 학습이 아니라 AI의 수행 능력을 반영할 가능성이 있다.

반대로 학생의 현재 이해 수준을 확인하고, 질문과 힌트를 통해 다음 사고 단계로 이동하도록 돕는 AI는 학습자의 인지적 참여를 유지할 수 있다. 따라서 교육용 AI는 ‘얼마나 정확하게 답을 제공하는가’뿐만 아니라 ‘학생이 스스로 사고할 기회를 얼마나 보존하는가’를 중심으로 평가되어야 한다.

표의 회귀계수는 GPT Base와 GPT Tutor의 연습문제 성과가 각각 0.137, 0.361 높았음을 보여주며, 통제집단 평균 0.284와 비교해 각각 약 48%, 127%의 상대적 향상으로 해석된다. 독립 시험에서는 GPT Base의 계수가 −0.054였고, 통제집단 평균 0.321 대비 약 17% 낮았습니다. GPT Tutor의 −0.004는 통계적으로 유의하지 않았다.

GPT Base는 학생의 정답 요청에 완성된 풀이를 제공한다. 반면 GPT Tutor는 정답을 직접 제시하지 않고, 학생이 적용해야 할 변환과 현재 막힌 지점을 먼저 설명하도록 유도한다.

교육 현장에 주는 시사점

이 논문은 학교에서 생성형 AI를 전면적으로 허용할 것인지 또는 금지할 것인지의 이분법적 논의를 넘어설 필요가 있음을 보여준다. 중요한 것은 사용 여부보다 사용 방식이다.

교사는 학생에게 완성된 정답을 요청하기보다 개념 설명, 오류 확인, 풀이 방향에 대한 힌트, 단계별 질문을 요청하도록 지도해야 한다. 예를 들어 “이 문제를 풀어 줘”라고 질문하기보다 “내가 세운 식에서 잘못된 부분을 찾아 줘”, “정답을 말하지 말고 첫 번째 단계만 힌트로 알려 줘”와 같이 질문하게 할 수 있다.

또한 교육용 AI 시스템은 정답을 바로 노출하지 않는 기능, 학생의 선행 시도를 요구하는 기능, 오개념을 진단하는 질문, 교사가 검토한 문제별 힌트 등을 포함해야 한다. AI 활용 능력을 단순한 프롬프트 작성 기술이 아니라, AI의 답변을 검증하고 자신의 사고 과정을 점검하는 능력으로 접근할 필요도 있다.

무엇보다 AI가 교사를 대체하기보다는 교사의 교육적 판단을 지원하는 방향으로 활용되어야 한다. 연구진 역시 생성형 AI가 학생을 직접 대신 가르치는 방식보다 인간 교사나 튜터를 지원하는 보조 도구로 활용되는 접근을 중요한 후속 방향으로 제시한다.

연구의 한계

이 연구는 실제 학교 현장에서 약 1,000명의 학생을 대상으로 무작위 실험을 진행했다는 점에서 의미가 크다. 그러나 연구 결과를 모든 교육 상황에 그대로 일반화하는 데에는 주의가 필요하다.

연구가 튀르키예의 한 고등학교와 수학 과목에 한정되었고, 비교적 단기간의 학습 효과를 측정했기 때문이다. 글쓰기나 토론처럼 정답이 하나로 정해지지 않은 과목에서는 다른 결과가 나타날 수 있다. 또한 실험이 생성형 AI 사용 경험이 지금보다 많지 않았던 2023년 가을에 시행되었으며, 이후 AI 모델의 성능과 학생의 활용 방식도 변화했다.

저자들도 다양한 국가, 학년, 과목과 장기간의 학습 상황을 대상으로 한 후속 연구가 필요하다고 설명한다. GPT Tutor 역시 학생의 질문에 반응하는 수동적인 시스템으로, 학생의 오개념을 능동적으로 진단하고 적절한 질문을 제시하는 인간 튜터의 역할까지 수행한 것은 아니었다.

총평

이 논문은 생성형 AI가 교육에 미치는 영향을 단순한 사용 만족도나 과제 점수로 평가해서는 안 된다는 사실을 보여준다. AI가 제공되는 동안의 높은 성과가 AI 없이도 지속되는 실제 학습을 의미하는 것은 아니기 때문이다.

생성형 AI의 교육적 가치는 학생 대신 문제를 얼마나 잘 해결하느냐가 아니라, 학생이 스스로 문제를 해결할 수 있도록 얼마나 효과적으로 사고를 촉진하느냐에 달려 있다. 결국 교육에서 필요한 것은 더 많은 정답을 제공하는 AI가 아니라, 학생에게 적절한 질문을 던지고 사고할 기회를 남겨 주는 AI다.

이 연구는 생성형 AI 시대의 핵심 질문이 “AI를 사용할 것인가”에서 “어떤 AI를, 어떠한 교육적 원칙에 따라 설계하고 사용할 것인가”로 전환되어야 한다는 점을 설득력 있게 보여준다.