[논문리뷰]AI 미디어아트의 기술적 불완전성: 생성형 AI의 불확정성은 관객의 미적 경험을 어떻게 바꾸는가

― 「AI 기반 인터랙티브 미디어아트에서 의도된 기술적 불완전성으로 인한 관객의 미적 경험 연구」, 한지윤 · 최유미, 리뷰
https://doi.org/10.15187/adr.2026.02.39.1.375

한지윤과 최유미의 연구는 생성형 AI 예술에서 흔히 제거 대상으로 취급되는 왜곡과 불안정성을 창작 과정 안으로 다시 끌어들인다. 연구의 출발점은 AI가 얼마나 정확하게 이미지를 생성할 수 있는가가 아니라, AI가 충분히 정확하지 않을 때 관객에게 어떤 일이 일어나는가에 있다. 저자들이 관심을 두는 것은 작품의 형식적 완성도보다 관람 과정에서 발생하는 감정과 지각의 변화다. 따라서 기술적 파라미터라는 낮은 층위의 조절이 어떻게 몰입, 호기심, 경외감 같은 높은 층위의 경험으로 이어지는지를 작품 제작과 관객 조사를 통해 추적한다.

오류를 기다리는 대신 오류가 발생할 조건을 설계한다

이 연구에서 가장 중요한 개념은 ‘통제된 불확정성(Controlled Indeterminacy)’이다. 저자들이 말하는 기술적 불완전성은 AI가 우연히 만들어낸 실패작을 사후적으로 골라 사용하는 방식과 다르다. Sampling Step, CFG Scale, Control Weight를 의도적으로 조정해 생성 과정 자체가 일정한 범위에서 불안정해지도록 만든다. 즉 작가는 특정 결과를 직접 그리는 대신, 결과가 흔들리는 범위와 조건을 설계한다.

여기서 ‘기술적 불완전성’과 ‘시각적 불확정성’도 구별된다. 기술적 불완전성이 생성 시스템에서 발생하는 오류·한계·기능 변동을 가리킨다면, 시각적 불확정성은 그 결과 이미지의 형상과 의미가 고정되지 않고 여러 방향으로 해석될 수 있는 상태를 뜻한다. 따라서 기술적 불완전성은 시각적 불확정성을 만들어내는 하나의 원인이지만 둘은 동일하지 않다. 추상화나 모호한 구성, 인터랙션만으로도 시각적 불확정성은 만들어질 수 있다.

이 구분은 AI 예술에서 작가의 위치를 흥미롭게 바꾼다. 작가가 모든 결과를 통제해야만 의도가 성립하는 것이 아니라, 어디까지 통제하고 어디서부터 기계의 변이를 허용할 것인가를 결정하는 것 역시 미적 판단이 된다. 이 연구가 파라미터 조정을 단순한 기술 설정이 아니라 창작 전략으로 보는 이유다.

좋은 이미지를 만드는 파라미터와 흥미로운 경험을 만드는 파라미터는 다르다

연구진은 Stable Diffusion 기반 AnimateDiff를 이용한 인터랙티브 작품 를 제작한다. 관객이 고전 애니메이션의 장면을 선택하면 AI가 이를 실시간에 가까운 방식으로 변형해 매번 다른 애니메이션을 보여준다. 친숙한 고전 애니메이션을 선택한 것도 중요하다. 이야기를 이해하는 데 주의를 쓰기보다 원래 알고 있던 형상과 지금 생성되는 형상의 차이를 관찰하게 만드는 장치이기 때문이다.

파라미터를 낮추거나 약화시키면 흔히 이미지 생성에서 ‘품질 저하’라고 판단할 현상이 나타난다. Sampling Step이 낮아지면 이미지가 거칠어지고, 낮은 CFG Scale에서는 프롬프트에서 벗어난 추상적 형태가 늘어난다. Control Weight가 지나치게 낮아지면 원본과의 유사성이 무너지며 형태가 붕괴한다. 반대로 값이 높아질수록 이미지는 안정되지만 연구에서 원하는 추상성과 불확정성은 감소한다.

따라서 여기서 좋은 파라미터란 가장 깨끗한 이미지를 생산하는 값이 아니다. 관객이 원래의 형상을 알아볼 수 있으면서 다음 순간의 형상은 예상하기 어려운 구간을 만드는 값에 가깝다. 완전한 무작위성으로 밀어붙이면 비교할 기준 자체가 사라지고, 지나치게 안정시키면 탐색할 이유가 줄어든다. 연구에서 말하는 ‘통제’는 바로 이 경계에서 작동한다.

관객을 붙잡은 것은 변화의 양보다 ‘다음 장면을 모른다는 것’이었다

67명의 관람자를 대상으로 한 조사에서 가장 흥미로운 부분은 변화 자체와 예측 불가능한 변화가 서로 다른 결과를 보였다는 점이다. 관람자들은 형태가 계속 변한다는 사실을 매우 강하게 인식했지만, 단순한 지속적 변화(Q8)는 감정적 경험과 유의미한 상관을 보이지 않았다. 배경이 무작위로 변한다는 사실(Q14) 역시 마찬가지였다. 반면 자신이 예상하지 못했던 형태와 움직임의 변화(Q9)는 일반 감정 경험(r=.339), 놀이성(r=.438), 경외감(r=.453) 모두와 유의미한 정적 상관을 보였다.

이 차이는 논문의 핵심 발견을 보다 정확하게 보여준다. 많이 변한다고 해서 몰입하는 것이 아니다. 관객이 방금 본 것을 바탕으로 다음을 예상했는데 그 예상이 계속 조금씩 빗나갈 때 탐색이 발생한다. 관객은 변화를 소비하는 대신 변화의 규칙을 찾기 시작한다.

여기에 또 하나의 조건이 붙는다. 배경의 변화들이 부드럽게 연결된다고 느낄수록 놀이성이 강하게 나타났다(r=.483). 회귀분석에서도 배경의 부드러운 연결은 놀이성을 설명하는 세 변수 가운데 가장 높은 설명력을 보였다(R²=.233). 반대로 배경 전환이 지나치게 빠르다고 느낄수록 경외감은 감소하는 관계를 보였다(β=-.282, p=.041).

이를 함께 놓고 보면 불확정성의 미학은 ‘더 혼란스럽게 만들기’와 거리가 있다. 예상은 깨지되 경험의 흐름은 끊어지지 않아야 한다. 다음 이미지를 확신할 수는 없지만 앞뒤 이미지 사이의 관계를 계속 추적할 수 있을 때 관객의 주의가 유지된다. 불확정성에도 리듬이 필요하다는 것이다.

몰입은 화면을 잊는 상태보다 화면을 계속 읽는 상태에 가까웠다

감정 결과 역시 한 방향으로 정렬되지 않았다. 신비함 21.3%, 놀라움 20.5%가 높게 나타났지만 혼란 17.2%, 불편함 13.9%, 두려움 9.0%도 함께 보고됐다. 그럼에도 집중도는 7점 만점에 6.32, 주변 방해를 무시한 몰입은 6.15, 즐거움은 6.06, 호기심은 5.96으로 높았다. 즉 관객의 몰입은 편안하고 긍정적인 감정만으로 이루어지지 않았다. 낯섦과 혼란을 포함한 상태에서도 시각적 탐색은 지속됐다.

심층 인터뷰에서도 비슷한 모습이 드러난다. 관람자들은 뚜렷한 서사가 없어도 계속 변화하는 시각 요소 자체를 바라보며 몰입했다고 말했다. 기존 고전 애니메이션과 AI 이미지 사이의 차이가 원작을 새롭게 보게 했다는 응답도 있었다.

따라서 이 논문에서 몰입은 작품 속 세계에 완전히 빠져 외부를 잊는 상태보다는, ‘지금 무엇이 변했는가’를 계속 확인하는 시간적 과정으로 나타난다. 저자들도 이를 ‘시각적 탐색과 주의의 지속’으로 해석한다. 의도된 불완전성은 한 번의 강렬한 이미지로 관객을 압도하기보다, 매 순간 다시 보게 만드는 ‘지각적 낯설게 하기’를 형성한다.

표들이 보여주는 결론: 불확정성에는 강도뿐 아니라 구조가 있다

이 논문에는 연구 결과 전체를 하나의 최종 표로 다시 압축한 표는 없다. 대신 Table 20~23의 상관·회귀분석이 사실상 결론을 가장 선명하게 보여준다. Table 20에서는 단순한 변화나 무작위성보다 ‘예측하지 못한 형태 변화’가 감정적 경험과 일관되게 연결되고, ‘배경 변화의 부드러운 연결’은 특히 놀이성과 강한 관계를 보인다. Table 21~23의 회귀분석에서는 이 관계가 다시 확인된다. 예측 불가능한 형태 변화는 일반적 감정 경험과 놀이성, 경외감을 높이는 방향으로 작동하는 반면, 지나치게 빠른 배경 전환은 경외감과 반대 방향으로 움직인다.

따라서 이 연구에서 가장 중요한 것은 불완전성의 존재 여부가 아니라 불완전성이 어떻게 시간 속에 배치되는가다. 관객이 변화를 인지할 수 있어야 하고, 다음 결과를 완전히 예측할 수 없어야 하며, 그럼에도 앞선 장면과 다음 장면의 연결을 추적할 수 있어야 한다. 이 세 조건 사이에서 불확정성은 오류에서 경험 설계의 요소로 이동한다.

저자들이 기술적 불완전성을 AI 예술의 미학적 자원으로 보는 근거도 여기에 있다. AI의 특이한 이미지를 골라 전시하는 데서 멈추지 않고, 파라미터 설정→시각적 불확정성→관객의 지각적 탐색→호기심과 놀이성·경외감이라는 경험의 흐름을 연결해 보여준다. AI 예술에서 창작자가 다루게 될 대상은 점차 완성된 이미지 한 장에서 이미지가 변하는 범위, 속도, 연결 방식과 관객의 기대가 어긋나는 순간으로 이동할 수 있다. 이 논문이 흥미로운 지점은 바로 그 이동을 실제 작품과 관객 데이터 안에서 포착했다는 데 있다.