[논문리뷰]AI가 이미지를 만들 때, 작가는 어디에서 창작하는가

― 권민진, 「AI 이미지 생성과 작가의 의도 및 선택 구조」 리뷰
DOI https://doi.org/10.47294/KSBDA.27.3.2

생성형 AI가 등장한 이후 예술을 둘러싼 논의는 자주 “AI도 창작자인가”, “프롬프트만 입력하는 것을 창작이라고 할 수 있는가”라는 질문으로 향했다. 권민진의 「AI 이미지 생성과 작가의 의도 및 선택 구조」는 이 질문의 출발점을 조금 다른 곳으로 옮긴다. AI가 인간처럼 창작하는지를 먼저 묻기보다, 인간의 이미지 창작은 원래 어떤 구조를 통해 이루어져 왔는가를 되짚는다. 그리고 사진, 실크스크린, 개념 미술, 집단 제작, 알고리즘 아트를 거슬러 올라가면서 이미지 생성에 반복적으로 나타나는 구조를 찾아낸다. 그것이 이 논문의 중심 개념인 ‘조건설정–매개–선택’이다.

이 논문의 흥미로운 점은 AI를 예술사의 예외적인 사건으로 두지 않는다는 데 있다. AI 이전에도 작가는 언제나 모든 것을 자신의 손으로 직접 만들지는 않았다. 카메라는 빛을 이미지로 바꾸었고, 실크스크린의 판과 안료는 원본을 전사했으며, 솔 르윗의 작업은 다른 사람이 지시문을 실행했다. 제프 쿤스나 다카시 무라카미의 작품에서는 보조 작가들이 물리적 제작을 담당했고, 헤럴드 코헨과 베라 몰나르의 알고리즘 작업에서는 프로그램이 이미지를 생성했다. 이들을 나란히 놓으면 ‘손으로 만들었는가’보다 더 오래 지속되어 온 다른 구조가 보인다.

창작을 ‘제작’보다 ‘판단의 연쇄’에서 바라보다

저자가 제안하는 조건설정–매개–선택 구조에서 첫 번째 단계는 이미지가 만들어질 가능성의 범위를 정하는 일이다. 사진가는 셔터 속도와 조리개, ISO를 정하고, 실크스크린 작가는 원본 이미지와 색, 스텐실을 결정한다. 개념 미술가는 언어적 지시를 작성하고, 알고리즘 아티스트는 규칙과 파라미터를 설정한다. 실행 방식은 서로 다르지만 공통적으로 작가는 결과가 출현할 장을 먼저 조직한다.

그다음에는 작가가 완전히 지배하지 않는 매개가 개입한다. 사진에서는 카메라와 감광 시스템이, 실크스크린에서는 판과 안료가, 개념 미술에서는 지시문을 수행하는 타인이, 집단 제작에서는 보조 작가가, 알고리즘 아트에서는 프로그램이 그 역할을 맡는다. 따라서 제작 과정에는 이미 오래전부터 작가와 결과 사이에 어떤 시스템이 놓여 있었다.

마지막에는 선택이 있다. 촬영된 수많은 사진 중 하나를 고르고, 여러 색상과 배열의 실크스크린 가운데 특정 결과를 확정하고, 제작된 작품을 승인하거나 수정하며, 알고리즘이 생성한 출력 가운데 결과를 선별한다. 논문이 강조하는 것은 이 선택이 단순한 취향의 표현이 아니라는 점이다. 선택 과정에는 균형, 긴장, 밀도, 중심과 주변 같은 화면 전체의 관계에 대한 판단이 개입한다.

여기서 루돌프 아른하임과 존 듀이라는 두 이론가가 연결된다. 아른하임은 시지각을 수동적인 감각 수용이 아니라 형식적 관계를 조직하는 사고 행위로 설명한다. 즉 작가가 이미지를 바라보며 “이것이 맞다”, “무언가 과하다”고 판단하는 행위 자체가 시각적 사고다. 반면 듀이는 창작을 행위와 반응이 반복되면서 하나의 경험적 완결에 도달하는 과정으로 본다. 결과를 보고 다시 조건을 바꾸고, 새로운 결과를 보고 다시 조정하다가 더 이상 수정할 필요가 없다고 느끼는 순간 작업은 하나의 경험으로 완결된다.

두 사람의 이론을 결합하면서 논문은 창작을 한 번의 제작 행위가 아니라 판단→실행→결과 확인→재판단이 시간 속에서 이어지는 과정으로 바라본다. 이 관점을 취하면 AI 이미지 생성은 예상보다 낯선 창작 방식이 아니다.

사진에서 솔 르윗까지, 작가의 손은 이미 오래전부터 멀어지고 있었다

이 논문에서 특히 중요한 사례는 개념 미술과 집단 제작이다. 솔 르윗의 작업에서는 작품의 형식을 규정하는 것이 작가의 손놀림이 아니라 언어적 지시문이다. 선의 방향과 배열을 언어로 규정하면 다른 사람이 그것을 벽에 구현한다. 물리적 실행은 타인에게 넘어가지만, 어떤 구조를 만들 것인지 결정하고 최종 결과를 판단하는 역할은 작가에게 남는다.

제프 쿤스와 다카시 무라카미의 스튜디오 제작은 이 분리를 더 명확하게 보여준다. 작가가 작품의 모든 부분을 직접 제작하지 않더라도 색감, 형태, 크기, 전체 방향을 결정하고 결과를 검토하며 수정과 승인을 내린다면 저자가 말하는 창작의 핵심 구조는 유지된다. 여기서 작가는 ‘만드는 사람’에서 점차 생성 과정을 조직하고 판단하는 사람 쪽으로 이동한다.

이 흐름을 알고리즘 아트까지 확장하면 AI와의 연결은 더욱 선명해진다. 헤럴드 코헨의 AARON은 규칙에 따라 이미지를 생성했고, 베라 몰나르는 수학적 규칙과 파라미터를 바꾸어 가며 이미지 변화를 탐색했다. 코헨이 규칙을 비교적 안정적으로 설정하고 출력 결과를 선택했다면, 몰나르는 생성된 결과를 보면서 규칙 자체를 다시 변화시켰다. 이 차이는 오늘날 AI 이미지 작업에서도 그대로 발견된다. 프롬프트를 고정해 여러 이미지를 생성할 수도 있고, 결과를 본 뒤 프롬프트를 바꾸어 생성 공간 자체를 계속 탐색할 수도 있다.

따라서 AI의 등장으로 처음 발생한 것은 ‘작가가 직접 만들지 않는 창작’이 아니다. 그런 구조는 이미 사진, 개념 미술, 스튜디오 제작, 알고리즘 아트 속에 존재했다. 다만 AI에서는 이 구조의 각 단계 사이 관계가 훨씬 느슨하고 예측하기 어려워진다.

AI의 차이는 매개의 존재가 아니라 매개의 불투명성에 있다

논문이 AI와 과거 매체 사이의 연속성만을 주장하는 것은 아니다. 오히려 중요한 논점은 연속성 위에서 어디부터 구조가 달라지는가를 찾는 데 있다.

사진에서 조리개를 열면 심도가 얕아지고, 셔터 속도를 늦추면 움직임의 흔들림이 증가한다. 조건과 결과 사이에는 비교적 이해 가능한 인과관계가 있다. 실크스크린에서도 어떤 색과 판을 사용했는지가 결과와 비교적 직접적으로 연결된다.

그러나 확산 모델에서는 같은 프롬프트를 입력해도 서로 다른 이미지가 생성된다. 프롬프트가 방향을 제공하지만 결과를 직접 규정하지 않는다. 여기에 학습 데이터라는 또 하나의 층이 개입한다. 이미지가 생성되기 이전부터 모델이 학습한 데이터가 잠재 공간을 구성하고 있으며, 사용자는 그 공간의 내부 구조를 직접 확인하거나 통제할 수 없다. 저자는 이것을 AI가 기존 매체와 구별되는 결정적인 변화로 본다.

여기서 관점을 조금 바꾸면 AI 창작에서 흥미로운 문제가 드러난다. 작가의 통제가 사라진 것이 아니라, 통제가 작동하는 위치가 이동했다. 카메라에서는 조건을 조작하면 비교적 예상 가능한 결과를 얻을 수 있었다. 생성형 AI에서는 조건을 주더라도 결과를 완전히 예상하기 어렵기 때문에, 창작자의 판단이 결과 생성 이전에 집중되기보다 생성 이후의 비교와 수정 과정으로 더 많이 이동한다.

즉 프롬프트의 정확성이 높아질수록 작가의 역할이 커진다고만 말하기 어렵다. 실제 작업에서는 프롬프트 작성, 생성, 비교, 선택, 수정, 재생성이 반복된다. 창작자의 의도는 첫 입력에서 완성된 형태로 존재하지 않고, 생성 결과와 충돌하면서 점차 구체화된다.

Midjourney 작업에서 의도는 결과를 본 뒤에도 계속 만들어진다

논문은 이를 Midjourney를 이용한 실제 생성 과정으로 설명한다. 연구자는 ‘한국 전통 도자기, 청화백자, 달빛, 미니멀리즘, 고해상도’라는 프롬프트를 입력하고 네 개의 결과를 얻는다. 같은 조건에서 생성됐지만 구도와 색채, 질감, 빛의 방향은 서로 다르다. 사용자는 이들을 비교하면서 여백, 형태의 밀도, 화면의 균형을 판단한다.

만족스럽지 않다면 ‘달빛 강조’, ‘섬세한 유약 질감’, ‘여백 확대’ 같은 조건을 새롭게 추가한다. 그리고 다시 이미지를 생성한다. 이 과정을 반복하면서 처음에는 언어로 정확히 규정되지 않았던 요구가 점차 구체화된다.

이 사례에서 눈여겨볼 것은 창작자의 의도를 고정된 출발점으로 보지 않는다는 점이다. 작가는 처음부터 완성된 이미지를 머릿속에 넣고 AI에게 그대로 출력하도록 명령하는 사람이 아니다. 생성된 이미지를 보면서 자신이 원했던 것이 무엇인지 다시 발견하고, 그것을 다음 조건으로 되돌려 보낸다. 의도는 입력 전에만 존재하지 않는다. 결과를 보고 판단하는 시간 속에서도 의도가 형성된다.

듀이의 경험론이 이 지점에서 중요한 이유도 여기에 있다. 생성과 선택은 명령과 실행의 일방향 관계가 아니라 행위와 반응의 순환이다. 프롬프트는 결과를 만들지만, 결과 역시 다음 프롬프트를 바꾼다. 시간이 지나면서 조건과 선택은 서로 영향을 주고, 결국 어느 순간 더 이상 수정하지 않아도 된다고 판단할 때 작업이 완결된다.

표가 보여주는 것은 매체의 차이보다 작가 역할의 이동이다

논문의 <Table 1>은 전체 논지를 가장 압축적으로 보여준다. 사진에서 조건은 셔터·조리개·ISO이고 매개는 카메라 기계이며, 작가는 후보 컷을 선별하는 ‘조건 조직자’로 정리된다. 실크스크린에서는 원본 이미지와 스텐실이 조건이 되고 판과 안료가 매개하며 작가는 ‘구조 설계자’가 된다. 개념 미술에서는 언어적 지시문이 조건이고 타인의 실행이 매개이며 작가는 ‘언어적 설계자’다. 집단 제작에서는 작가가 개념과 색감, 구도를 정하고 보조 작가가 실행하며 최종 결과를 승인한다. 알고리즘 아트에서는 규칙과 파라미터를 만들고 프로그램이 이를 실행하며 결과를 선별한다. AI에서는 프롬프트가 조건, 확산 알고리즘이 매개, 다중 결과 가운데 선택이 마지막 단계가 되며 작가는 ‘구조적 설계자’로 규정된다.

표를 가로로 읽으면 각 매체의 차이가 보이지만 세로로 읽으면 다른 흐름이 나타난다. 사진에서 AI로 갈수록 작가는 물리적 제작 과정에서 점차 멀어진다. 그 대신 조건을 설계하고 결과를 판단하는 역할이 점점 선명해진다. 작가의 역할이 감소한다기보다 제작의 어느 지점에 개입하는지가 변한다.

이것이 이 논문에서 가장 중요한 관점 전환이다. “AI가 이미지를 만들었는데 인간이 어떻게 작가인가”라고 물으면 제작 주체를 중심으로 논쟁하게 된다. 그러나 “누가 생성 조건을 조직하고, 결과를 판단하고, 반복을 멈출 시점을 결정하는가”라고 질문을 바꾸면 창작 주체를 다른 방식으로 볼 수 있다.

AI 시대의 작가는 결과보다 생성 과정을 설계한다

논문의 결론은 세 층위로 정리된다. 첫째, 사진에서 AI에 이르기까지 이미지 생성에는 조건설정–매개–선택이라는 반복적인 구조가 존재한다. 둘째, 창작의 중심은 반드시 직접적인 물리적 제작에 있지 않으며 형식의 방향을 정하고 결과를 판단하는 과정에 놓일 수 있다. 셋째, AI는 이 역사적 구조를 이어받지만 확률적 생성, 학습 데이터의 사전 개입, 잠재 공간의 비가시성 때문에 조건과 결과 사이의 관계를 훨씬 복합적이고 유동적으로 만든다.

이 논의를 따라가면 생성형 AI가 가져온 변화의 핵심을 ‘손의 상실’만으로 설명하기 어려워진다. 작가는 이미지의 모든 형태를 직접 결정하는 위치에서는 멀어졌지만, 수많은 가능성 가운데 어떤 방향으로 생성할 것인지 설정하고, 우연히 출현한 결과를 해석하며, 다시 조건을 바꾸고, 어느 순간 하나의 결과를 확정한다.

따라서 AI 시대에 더욱 중요해지는 능력은 명령을 얼마나 정밀하게 작성하는가만이 아니다. 결과들 사이의 차이를 읽어내고, 그 차이가 자신의 의도와 어떤 관계를 맺는지 판단하며, 그 판단을 다시 다음 생성 조건으로 환원하는 능력이다. 생성형 AI가 만들어내는 가능성이 커질수록 작가에게 남는 일은 줄어들기보다 다른 위치로 이동한다. 제작의 중심에서 조금 물러나는 대신, 생성 과정 전체를 바라보고 언제 개입하고 언제 선택할지를 결정하는 역할이 더 중요해진다.