[논문리뷰]교육 AI는 아직 ‘채팅창’ 안에 있다…4,175편이 드러낸 멀티모달의 빈자리

제목: Beyond Text-to-Text: An Overview of Multimodal and Generative Artificial Intelligence for Education Using Topic Modeling
저자: Ville Heilala, Roberto Araya, Raija Hämäläinen
발표 학술대회: The 40th ACM/SIGAPP Symposium on Applied Computing, SAC ’25
DOI: 10.1145/3672608.3707764

생성형 AI 교육 연구는 얼마나 ‘멀티모달’한가

생성형 AI에 관한 교육 연구는 빠르게 증가하고 있다. 학생들은 ChatGPT와 같은 대화형 AI를 이용해 글을 작성하고, 문제풀이 과정을 확인하며, 프로그래밍 코드를 생성한다. 교사는 수업자료를 만들고 평가 문항을 구성하며 학생에게 개별화된 피드백을 제공한다.

그러나 생성형 AI가 곧 대규모 언어모델을 의미하는 것은 아니다. 생성형 AI는 텍스트뿐 아니라 이미지, 음성, 음악, 영상, 데이터, 표, 그래프 등 서로 다른 형태의 정보를 생성하거나 변환할 수 있다. 텍스트를 음성으로 변환하는 text-to-speech, 음성을 문자로 바꾸는 speech-to-text, 문장으로 이미지를 만드는 text-to-image, 텍스트를 영상으로 전환하는 text-to-video도 모두 교육에서 활용될 수 있는 기술이다.

연구진이 던진 질문은 단순하다.

교육 분야의 생성형 AI 연구는 이러한 다양한 모달리티를 얼마나 균형 있게 다루고 있는가?

논문은 특정 AI 도구의 효과를 검증하지 않는다. 대신 기존 연구 전체를 하나의 거대한 지형으로 펼쳐 놓고, 어떤 기술과 교육 주제가 중심에 있고 어떤 영역이 주변부에 머물러 있는지를 살핀다.

‘ChatGPT’라는 제품명에서 한 걸음 물러나다

이 연구의 중요한 특징은 논문 검색 과정에서 ChatGPT, Gemini, Claude와 같은 특정 서비스명을 사용하지 않았다는 점이다.

연구진은 특정 기업이나 제품의 시장 영향력이 문헌 검색 결과를 과도하게 지배할 수 있다고 판단했다. 이에 따라 검색식에는 ‘generative AI’, ‘large language model’, ‘text-to-text’, ‘text-to-video’, ‘text-to-audio’와 같은 기술 개념과 모달리티 간 변환 관계를 포함했다.

텍스트, 영상, 오디오, 음성, 음악, 데이터, 이미지, 그래프, 표, 감정, 언어, 제스처 등 다양한 정보 형태의 조합을 검색식에 반영했다. 이를 통해 ‘ChatGPT를 사용한 교육 연구’가 아니라 ‘서로 다른 형태의 정보를 생성하고 변환하는 AI가 교육에서 어떻게 다뤄지고 있는가’를 찾고자 했다.

이러한 검색 전략은 생성형 AI 교육 연구를 특정 대화형 서비스 중심으로 해석하는 오류를 줄인다. 동시에 우리가 생성형 AI라고 부르는 연구가 실제로는 어느 기술과 방식에 집중되어 있는지를 확인하게 한다.

그림 1. 토픽 모델링을 활용한 연구 절차

4,475편에서 4,175편의 연구자료를 구축하다

연구진은 2024년 8월 Dimensions.ai에서 논문을 수집하고, Scopus와 Web of Science를 통해 보완 검색을 실시했다. 최초 검색 결과는 4,475편이었다. 이 가운데 DOI나 초록이 없는 자료를 제외한 후 4,175편을 최종 분석자료로 사용했다.

분석자료에는 학술논문뿐 아니라 학술대회 논문과 도서의 장도 포함됐다. 전체 자료의 95%는 2014년 이후 발표된 연구였다. 다만 가장 오래된 연구는 1983년에 발표된 시각장애 학생을 위한 텍스트 음성변환 기반 읽기 보조 연구였다.

이 결과는 멀티모달 교육 기술이 생성형 AI 열풍과 함께 갑자기 등장한 것이 아니라는 점을 보여준다. 텍스트 음성변환이나 음성인식과 같은 기술은 오래전부터 특수교육과 보조공학 분야에서 연구됐다. 최근의 생성형 AI는 완전히 새로운 기술이라기보다, 기존 모달리티 변환 기술이 대규모 모델 및 생성 기술과 결합하면서 활용 범위가 급격히 확장된 것으로 볼 수 있다.

연구자가 정한 주제가 아니라 데이터가 만든 주제

연구진은 4,175편의 논문 초록을 BERTopic으로 분석했다. BERTopic은 문서의 단어 빈도만 계산하는 것이 아니라, 문장의 의미와 맥락을 임베딩으로 변환한 뒤 서로 유사한 문서를 군집화하는 토픽 모델링 방법이다.

먼저 all-mpnet-base-v2 문장 변환 모델을 이용해 각 논문 초록을 768차원의 벡터로 변환했다. 이후 UMAP으로 차원을 축소하고, HDBSCAN을 이용해 유사한 연구를 군집화했다. 마지막으로 c-TF-IDF를 통해 각 군집을 대표하는 단어를 추출하고 연구진이 토픽의 의미를 해석했다.

토픽 수를 임의로 정하지 않았다는 점도 특징이다. 연구진은 UMAP과 HDBSCAN의 주요 설정을 무작위로 조합해 총 5,000회의 분석을 수행했다. 각 결과는 군집 내부의 응집성과 군집 간 분리 정도를 나타내는 DBCV 지수, 전체 토픽 수, 어느 토픽에도 배정되지 않은 논문의 수를 기준으로 평가했다.

그 결과 54개의 초기 토픽이 도출됐으며, 전체 논문의 약 85%가 하나 이상의 토픽에 포함됐다. 나머지 15%는 억지로 기존 토픽에 배정하지 않고 분석에서 분리했다. 이후 내용이 유사한 8개 토픽을 통합하고 해석하기 어려운 8개 토픽을 제외해 최종적으로 38개 토픽을 확정했다.

이 38개 토픽에는 최초 수집 자료의 약 74%가 포함됐다. 논문 전체를 빠짐없이 분류하는 것보다, 해석 가능하고 일관성 있는 토픽을 만드는 데 초점을 둔 것이다.

LLM 3,645건, ChatGPT 1,471건…교육 AI의 압도적인 텍스트 편중

연구 결과에서 가장 먼저 드러난 것은 대규모 언어모델의 압도적인 영향력이다.

주요 키워드가 논문의 제목이나 초록에 등장한 빈도를 분석한 결과, ‘large language model’ 관련 표현은 3,645건으로 나타났다. ‘generative artificial intelligence’는 2,177건, ‘ChatGPT’는 1,471건이었다.

검색식에는 ChatGPT라는 제품명을 포함하지 않았지만, 실제 수집된 논문의 초록에서는 ChatGPT가 Gemini·Bard, Copilot, Claude, Perplexity.ai보다 훨씬 자주 등장했다. 이는 생성형 AI 교육 연구에서 ChatGPT가 사실상 대표적인 연구대상으로 기능하고 있음을 보여준다.

반면 비텍스트 모달리티 가운데 가장 많이 나타난 text-to-speech는 461건이었다. 대규모 언어모델과 비교하면 상당한 차이다. 그 뒤를 text-to-image, text-to-text, speech-to-text, text-to-video, image-to-image 등이 이었다.

표 1. 생성형 AI 교육 연구의 주요 키워드 언급 빈도

이 숫자는 현재 교육 분야에서 ‘생성형 AI 연구’가 실제로는 ‘대규모 언어모델 연구’에 가까운 형태로 진행되고 있음을 의미한다. 생성형 AI가 다양한 정보를 생성할 수 있음에도 교육 연구는 질문을 입력하고 문장으로 응답을 받는 상호작용에 집중해 왔다.

그림 2. 교육 분야 생성형 AI 연구의 모달리티별 키워드 빈도

음성과 이미지는 가능하지만 아직 주변부에 있다

대규모 언어모델 다음으로 많이 연구된 기술은 텍스트 음성변환이었다. text-to-speech는 글을 음성으로 읽어주는 기능으로, 읽기 이해와 철자 학습을 지원하고 시각장애 학생이나 학습에 어려움을 겪는 학생의 접근성을 높일 수 있다.

Speech-to-text 역시 글쓰기 과정에서 어려움을 겪는 학생이 말로 생각을 표현하고 이를 문자로 전환할 수 있도록 지원한다. 이 기술은 특히 특수교육이나 학습지원 분야에서 학생의 참여 기회를 확대할 수 있다.

Text-to-image는 디자인 아이디어 생성, 구조공학 개념 시각화, 의료교육용 이미지 제작 등에 활용됐다. Image-to-image 기술을 이용해 복잡한 분자구조를 사실적으로 시각화한 사례도 확인됐다. Text-to-video는 교육용 콘텐츠 제작과 개인화된 학습자료 생성 가능성을 중심으로 탐색되고 있었다.

하지만 이러한 연구들은 대규모 언어모델 연구에 비해 수가 적고, 특정 활용 사례에 머무는 경우가 많았다. 생성형 AI가 여러 감각과 표현방식을 연결할 수 있음에도 실제 교육 연구에서는 각각의 기술이 분리된 도구처럼 다뤄지고 있는 것이다.

연구진이 발견한 사례 가운데 여러 모달리티를 통합해 수업자료를 자동 생성한 연구는 매우 제한적이었다. ‘멀티모달 AI’라는 표현은 자주 사용되지만, 텍스트·음성·이미지·영상이 하나의 학습경험 안에서 유기적으로 결합된 연구는 아직 초기 단계에 있다고 볼 수 있다.

38개 토픽이 보여주는 생성형 AI 교육의 현재

최종적으로 도출된 38개 토픽은 다시 14개의 상위 주제영역으로 정리됐다.

• 교육 분야와 교과

• 이론적·철학적 기반

• 개인화 학습 지원

• 문제해결

• 기술 수용

• 교사 전문성 개발

• 창의성

• 기능성 게임

• 학습도구와 콘텐츠

• 평가

• 윤리와 보안

• 학문적 진실성

• 챗봇

• 언어학습

이 주제 지도는 생성형 AI가 교육의 특정 활동에만 사용되는 기술이 아님을 보여준다. 수업자료 제작, 개별화된 피드백, 문제풀이, 평가, 교사교육, 창작, 외국어 학습, 게임 제작, 연구 지원 등 교육의 거의 모든 영역에서 생성형 AI 연구가 진행되고 있었다.

그림 3. 토픽 모델링 결과에 따른 생성형 AI 교육 연구의 14개 주제영역

38개 토픽 가운데 가장 큰 군집은 ‘의학교육에서의 대규모 언어모델’로 654편의 논문이 포함됐다. 두 번째로 큰 토픽은 ‘학습 지원을 위한 text-to-speech’로 546편이었다. 이어 컴퓨팅교육에서의 생성형 AI가 249편, 글쓰기 지원과 피드백이 160편, 윤리 및 보안 문제가 139편, 교육용 챗봇이 129편으로 나타났다.

의료 분야에서는 환자교육자료를 쉽게 바꾸거나 의료 관련 질문에 답하는 모델의 정확성을 검증하는 연구가 많았다. 컴퓨팅교육에서는 코드 생성, 프로그래밍 과제 피드백, 초보 학습자의 문제해결을 지원하는 연구가 중심을 이뤘다.

수학과 물리 분야에서는 언어모델의 문제풀이 능력, 설명의 정확성, 시뮬레이션 활용 가능성이 연구됐다. 화학교육에서는 프롬프트 작성 전략과 분자·화학 개념 학습이 주요 관심사였다.

생성형 AI가 교육 전반으로 확산되고 있지만, 모든 교과와 학교급에서 동일한 속도로 연구되는 것은 아니었다.

대학은 빠르게 움직였지만 K-12 연구는 보이지 않는다

토픽 수준에서 독립적인 학교급으로 확인된 것은 고등교육뿐이었다. ‘고등교육에서의 생성형 AI’는 별도의 토픽으로 나타났지만, 초등교육이나 중등교육은 독립적인 대규모 연구영역으로 형성되지 못했다.

이는 대학을 중심으로 생성형 AI 연구가 빠르게 확대된 반면, K-12 단계에서는 연구가 상대적으로 제한적임을 의미한다. 초·중등학생을 대상으로 한 일부 사례가 존재하더라도, 하나의 뚜렷한 연구군을 형성할 만큼 축적되지 않았던 것이다.

이 차이는 단순히 연구 수의 문제가 아니다. 대학에서는 학생이 생성형 AI를 이용해 글을 작성하거나 코드를 생성하고 연구자료를 찾는 장면을 비교적 쉽게 관찰할 수 있다. 반면 초·중등교육에서는 학생의 발달 단계와 교과과정, 개인정보 보호, 교사의 통제, 보호자의 동의, AI 결과물의 신뢰성 등을 함께 고려해야 한다.

따라서 K-12에서 생성형 AI를 활용하기 위해서는 대학의 활용 모델을 그대로 축소해 적용하는 것이 아니라, 학교급에 적합한 교수설계와 안전장치를 새롭게 마련해야 한다.

개인화 학습은 강하지만 ‘개인화’의 의미는 아직 좁다

개인화 학습 지원은 연구 지형에서 비교적 큰 영역을 차지했다. 여기에는 텍스트 음성변환, 감정·정서 분석, 글쓰기 지원, 피드백 생성, 지능형 튜터링 시스템 등이 포함됐다.

생성형 AI는 같은 질문에 모든 학생에게 동일한 답을 제공하는 대신, 학생의 응답에 따라 설명을 바꾸고 틀린 답을 다시 표현하며 학습 속도에 맞는 피드백을 제공할 수 있다. 자연어로 상호작용할 수 있다는 점은 기존 적응형 학습시스템보다 유연한 학습 지원을 가능하게 한다.

그러나 개인화가 단순히 ‘학생마다 다른 문장을 생성하는 것’을 의미해서는 안 된다. 학습자의 선행지식과 오개념, 목표, 동기, 인지부하를 고려하지 않은 생성형 응답은 표현만 다를 뿐 교육적으로는 동일한 정보를 반복할 수 있다.

멀티모달 AI는 개인화 학습의 범위를 넓힐 가능성이 있다. 읽기에 어려움을 겪는 학생에게는 음성으로 설명하고, 추상적인 개념을 이해하기 어려운 학생에게는 이미지나 시뮬레이션을 제공하며, 언어 표현에 어려움이 있는 학생에게는 음성·제스처·그림으로 응답할 수 있도록 하는 방식이다.

개인화의 핵심은 답변의 문장을 바꾸는 데 있지 않다. 학생이 이해하고 표현할 수 있는 정보 형태를 선택하게 하는 데 있다.

생성형 AI는 창의성을 돕는가, 대신하는가

‘창의성, 예술 및 디자인’과 ‘시각 디자인과 창의성을 위한 text-to-image’도 독립적인 연구 토픽으로 도출됐다.

Text-to-image 기술은 학생이 아이디어를 탐색하거나 디자인 대안을 비교하고, 기존에 상상하기 어려웠던 시각적 결과를 빠르게 확인하도록 돕는다. 패션·텍스타일 디자인교육에서는 생성형 AI를 활용한 아이디어 발산과 지속가능한 디자인 탐색이 연구됐다. 미술교육에서는 학생과 AI가 함께 디지털 작품을 제작하는 과정이 분석됐다.

그러나 생성 속도가 빨라질수록 창작과 선택의 경계도 흐려진다. 학생이 직접 이미지를 그리지 않더라도 프롬프트를 설계하고 결과물을 선별하며 수정 방향을 결정할 수 있다. 이때 창의성은 손으로 표현하는 능력만이 아니라, 가능성을 탐색하고 비교하며 의미 있는 결과를 판단하는 능력으로 이동한다.

반대로 생성된 이미지를 그대로 제출한다면 학생의 학습과정은 보이지 않는다. 생성형 AI가 창의성을 지원했는지, 학생의 사고과정을 대체했는지도 판단하기 어렵다.

따라서 멀티모달 생성형 AI를 활용한 창작교육에서는 최종 결과물만 평가하기보다 프롬프트의 변화, 생성 결과 간 비교, 선택 기준, 수정 과정, 윤리적 판단을 함께 살펴야 한다. 생성된 작품보다 학생이 AI와 어떤 방식으로 협력했는지가 중요한 평가대상이 된다.

지원도구와 부정행위 도구 사이의 긴장

연구 지형에서 평가, 학문적 진실성, 윤리와 보안은 서로 밀접하게 연결돼 있었다.

생성형 AI는 학생의 서술형 답변을 평가하고, 객관식 문항을 자동으로 생성하며, 개별화된 피드백을 제공할 수 있다. 교사의 평가 업무를 줄이고 즉각적인 피드백을 가능하게 한다는 장점이 있다.

동시에 생성형 AI는 과제와 에세이, 프로그래밍 코드를 대신 작성할 수 있다. 이에 따라 AI가 생성한 글과 코드를 탐지하는 연구도 독립적인 토픽으로 나타났다. 교육기관의 생성형 AI 정책, 표절, 결과물의 독창성, 학생 과제의 진위 여부가 주요 연구문제로 등장했다.

같은 기술이 한편에서는 학습을 돕는 튜터로, 다른 한편에서는 학생의 수행을 대신하는 도구로 작동한다.

학생이 초안을 작성한 뒤 AI 피드백을 받아 수정하는 활동과, AI가 생성한 완성본을 그대로 제출하는 행동은 겉으로 비슷해 보여도 학습의 의미가 다르다. 중요한 것은 AI를 사용했는지 여부보다 학생이 지식 형성과 판단 과정에 어느 정도 참여했는지다.

이러한 점에서 생성형 AI 시대의 평가 방식은 최종 산출물 중심에서 과정 중심으로 이동할 필요가 있다. 학생이 어떤 질문을 했고, AI의 답변을 어떻게 검토했으며, 무엇을 수정하고 거부했는지를 평가에 포함해야 한다.

교육을 위해 훈련된 멀티모달 AI가 필요하다

연구진은 교육 분야가 범용 생성형 AI를 가져다 사용하는 단계에서 벗어나야 한다고 본다. 일반 사용자를 대상으로 개발된 모델은 반드시 교육과정이나 학습자의 발달 수준에 맞는 답변을 제공하지 않는다.

교육용 AI는 정답을 빠르게 생성하는 것만으로 충분하지 않다. 학생의 오개념을 진단하고, 생각할 시간을 제공하며, 학습목표에 적합한 질문을 던지고, 근거가 부족한 답변은 명확하게 표시해야 한다.

논문에서는 교육적 요구를 위해 의도적으로 훈련된 EdGPT와 같은 모델의 필요성이 제기된다. 여기에 음성·이미지·영상 등 멀티모달 기능이 결합된다면 학습자는 하나의 정답을 전달받는 데 그치지 않고, 다양한 표현을 비교하고 조작하며 지식을 구성할 수 있다.

예를 들어 수학 문제를 텍스트로 설명하는 것에 그치지 않고 식과 그래프, 도형의 변화, 음성 해설을 함께 제공할 수 있다. 과학에서는 실험 과정을 영상과 시뮬레이션으로 보여주고, 학생의 음성 질문을 이해해 필요한 부분을 다시 시각화할 수 있다.

멀티모달 AI의 교육적 가치는 더 많은 미디어를 보여주는 데 있지 않다. 서로 다른 표상 간의 관계를 이해하고 전환하도록 돕는 데 있다.

교사에게 필요한 것은 ‘교수학적 AI 상상력’

연구진은 교사가 text-to-speech, speech-to-text, text-to-image와 같은 다양한 AI 기술을 직접 탐색하고 실험할 필요가 있다고 제안한다.

논문은 이를 ‘교수학적 AI 상상력’의 형성으로 설명한다. 새로운 기능을 익히는 것에서 끝나는 것이 아니라, 특정 AI 기술을 활용해 기존 수업을 어떻게 다르게 설계할 수 있을지를 상상하는 능력이다.

예를 들어 text-to-speech를 단순히 교과서를 읽어주는 기능으로 사용할 수도 있지만, 학생이 작성한 글을 음성으로 들어보며 문장의 흐름을 수정하게 할 수도 있다. Speech-to-text는 받아쓰기 도구가 아니라 말하기와 쓰기를 연결하는 학습도구가 될 수 있다. Text-to-image는 장식용 이미지를 만드는 기능이 아니라, 학생의 개념 이해를 시각적으로 드러내고 서로 비교하는 도구가 될 수 있다.

AI의 교육적 효과는 기술 자체에 내장돼 있지 않다. 어떤 순서로 사용하고, 학생에게 어떤 선택을 제공하며, 생성 결과를 어떻게 검토하게 하는지에 따라 달라진다.

따라서 교사교육 역시 프롬프트 작성법이나 서비스 사용법에 머물러서는 안 된다. AI와 함께 학습활동을 설계하고, 결과물의 신뢰성과 편향을 검토하며, 학생의 사고과정을 보호하는 교수설계 역량을 포함해야 한다.

4,175편을 분석했지만 모든 교육 AI를 보여주지는 않는다

대규모 문헌을 토픽 모델링으로 분석하면 교육 AI 연구의 전체적인 흐름을 확인할 수 있다. 그러나 개별 연구의 세부적인 교수설계와 실제 학습효과까지 파악하기는 어렵다.

연구진도 토픽 모델링이 높은 수준의 지형을 제공하는 대신, 규모가 작거나 새롭게 등장하는 주제를 숨길 수 있다고 설명한다. 또한 검색식에 특정 서비스명을 포함하지 않았기 때문에 제품명을 중심으로 발표된 일부 연구가 누락됐을 가능성이 있다.

기술을 표현하는 명칭이 통일되지 않았다는 점도 문제다. ‘Copilot’은 일반적인 AI 보조자를 의미할 수도 있고 Microsoft Copilot이나 GitHub Copilot과 같은 특정 서비스를 의미할 수도 있다. ‘Perplexity’ 역시 AI 검색서비스와 언어모델의 통계적 측정값을 모두 가리킬 수 있다.

또한 최초 검색식에는 ‘teacher’와 ‘teaching’이 독립적인 핵심 검색어로 포함되지 않았다. 교사교육과 전문성 개발 관련 연구가 일부 토픽으로 나타났지만, 연구 전체는 학생과 학교를 중심으로 설계됐다. 향후 연구에서는 교사가 AI를 어떻게 이해하고 수업에 통합하는지에 초점을 둔 별도의 분석이 필요하다.

마지막으로 text-to-sign language와 같이 아직 검색식에 충분히 포함되지 않은 모달리티도 존재한다. 멀티모달 AI의 범위는 기술 발전에 따라 계속 넓어지기 때문에 연구 분류체계와 검색용어도 지속적으로 수정돼야 한다.

텍스트를 넘어야 교육 AI의 가능성이 보인다

이 연구가 보여주는 생성형 AI 교육 연구의 모습은 역설적이다. 생성형 AI는 이미지와 음성, 영상, 음악을 생성할 수 있을 만큼 빠르게 발전했지만, 교육 연구는 여전히 텍스트 대화와 글 생성에 집중돼 있다.

대규모 언어모델은 글쓰기와 피드백, 문제풀이, 프로그래밍, 평가에서 분명 강력한 가능성을 보여준다. 그러나 학생은 텍스트만으로 학습하지 않는다. 보고, 듣고, 말하고, 움직이며 서로 다른 표현을 연결하는 과정에서 이해를 형성한다.

따라서 교육에서 멀티모달 AI를 연구한다는 것은 단순히 이미지 생성기나 음성합성 도구를 추가하는 일이 아니다. 학생에게 어떤 정보 형태가 필요한지 판단하고, 텍스트·음성·이미지·영상·시뮬레이션을 하나의 학습 흐름으로 조직하는 일이다.

생성형 AI 교육의 다음 단계는 더 큰 언어모델을 도입하는 데 있지 않을 수 있다. 이미 존재하는 다양한 AI 모달리티를 학습자의 특성과 교과의 성격에 맞게 연결하고, 학생이 생성된 정보를 그대로 소비하지 않고 비교·검증·재구성하도록 만드는 데 있다.

교육 AI가 채팅창을 넘어설 때, AI는 답변을 대신 작성하는 도구에서 학생의 지식 형성과 표현을 확장하는 학습환경으로 이동할 수 있다.