생각만으로 공간을 이동할 수 있다면... 뇌가 몸을 '건너뛰는' 순간
차오름 기자
riize@metax.kr | 2026-05-06 09:00:00
[메타X(MetaX)] 뇌-컴퓨터 인터페이스(BCI)는 오랫동안 하나의 상상으로 남아 있었다. 생각만으로 커서를 움직이고, 로봇 팔을 제어하고, 문자를 입력하는 장면들. 이제 그 상상은 더 이상 가설이 아니다. 적어도 실험실 수준에서는 이미 구현된 기술이 되었다.
그래서 질문은 자연스럽게 다음 단계로 넘어간다. 커서가 아니라 공간이라면 어떨까. 평면이 아니라 깊이를 가진 입체 환경이라면. 그리고 그 안에서 목표가 바뀌고, 장애물이 등장하며, 매 순간 판단이 요구된다면.
단순한 입력을 넘어, 이런 복잡한 상황에서도 뇌 신호만으로 행동을 만들어낼 수 있는가.
이 논문은 그 질문을 실험으로 만들었다. BCI가 단순한 조작 도구를 넘어 3D 공간 안에서의 이동과 회피, 연속적 내비게이션으로 확장될 수 있는가를 마카크 원숭이와 피질 내 삽입형 전극, 몰입형 가상현실로 검증했다.
실험실 BCI와 실제 환경 사이의 간극
피질 내 삽입형 BCI 연구의 주류는 지금까지 2D 커서 제어, 로봇 팔 조작, 1차원 트랙 이동에 집중되어 있었다. 이것들은 뇌 신호 해독의 원리를 검증하기에는 충분했지만, 실제 환자가 필요로 하는 것과는 거리가 있다. 휠체어를 조종하는 일은 단순히 앞으로 나아가는 것이 아니다. 좁은 복도를 통과하고, 가구를 피하고, 사람을 향해 방향을 바꾸고, 예상치 못한 상황에 즉각적으로 반응하는 일이다.
연구팀은 이 간극을 명확히 인식하고 출발한다. 기존 BCI 연구가 단일 뇌 영역, 주로 일차 운동피질(M1)에 의존해왔던 것도 같은 맥락의 한계였다. 현실 세계의 내비게이션은 움직임의 실행뿐 아니라 목표 설정, 공간 계획, 유연한 수정이 동시에 이루어지는 복합적 과정이다. 그것은 여러 운동 관련 영역의 협력을 요구할 가능성이 높다. 이 연구는 바로 거기서 시작한다.
마카크 원숭이, 피질 내 삽입형 전극, 가상현실 내비게이션
실험 대상은 세 마리의 붉은털 마카크(rhesus macaque)다. 각 원숭이의 뇌에는 96채널 Utah 배열 전극 세 개가 이식되었다. 위치는 각각 일차 운동피질(M1), 등쪽 전운동피질(PMd), 배쪽 전운동피질(PMv)이다. 세 영역을 동시에 기록했다는 것이 이 연구의 설계상 핵심이다. 대부분의 선행 연구가 M1 단독 또는 M1과 PMd 조합에 의존했던 것과 달리, 이 연구는 세 영역을 동시에 활용함으로써 운동 계획과 실행의 더 넓은 스펙트럼을 해독에 끌어들였다.
원숭이들은 두 눈에 셔터 안경을 쓰고 3D 입체 화면을 바라본다. 팔은 고정된 상태다. 오직 뇌 신호만이 출력으로 사용된다. 실험은 세 단계로 진행된다. 먼저 Passive Fixation 단계에서 원숭이는 AI가 자동으로 구동하는 내비게이션 장면을 수동으로 관찰하고, 이때의 신경 활동이 기록되어 디코더 훈련에 사용된다. 중요한 점은 이 단계에서 원숭이가 어떠한 신체 움직임도 하지 않는다는 것이다. 이어지는 Decoder Training 단계에서 모델이 구성되고, 마지막 Online Decoding 단계에서 원숭이의 뇌 신호가 실시간으로 구체 또는 아바타의 속도 명령으로 변환된다.
디코더 구조도 주목할 만하다. 선형 Kalman 필터 방식(노이즈가 섞인 데이터에서 실제 값을 추정하는 수학적 알고리즘으로, BCI에서는 뇌 신호(노이즈가 많음)에서 실제 운동 의도(속도, 방향)를 추출하는 데 사용된다.) 대신, PSID(Preferential Subspace Identification) 프레임워크를 비선형 방식으로 변형한 구조를 채택했다. 뇌 신호에서 행동 관련성이 높은 저차원 잠재 상태를 먼저 추출한 뒤 속도를 예측하는 방식이며, 재귀적 Kalman 필터가 50ms 단위로 실시간 잡음을 처리한다. 태스크는 3D Center-Out(목표 도달), Respawn(목표 급변경), 장애물 회피, 1인칭·3인칭 연속 내비게이션으로 구성되었고, VR 환경은 Unity 엔진으로 구현되었다.
3D 이동의 실시간 해독
연구팀은 뇌 신호만으로 3D 공간에서의 이동 속도를 실시간으로 해독하는 데 성공했다. 먼저 표현 하나를 정확히 해둘 필요가 있다. 이것은 "생각을 읽은 것"이 아니다. 운동 의도와 관련된 신경 활동 패턴을 속도 명령으로 변환한 것이다. 그 구별이 중요하다.
3D Center-Out 과제에서 Monkey 2는 평균 69%, Monkey 3은 58%의 성공률을 기록했다. 2D 과제보다 낮은 수치지만, 두 경우 모두 통계적으로 우연 수준을 유의미하게 초과했다. 3차원 제어의 본질적 난이도를 감안하면 결코 작은 수치가 아니다.
두 가지 발견이 특히 눈에 띈다. 하나는 Z축, 즉 깊이 방향 제어가 별도의 추가 훈련 없이 이루어졌다는 점이다. 원숭이들은 3D 제어에 직관적으로 적응하는 경향을 보였고, 이는 PMd와 PMv가 공간적 운동 계획에 관여하는 영역임을 반영한다. 또 하나는 세션 내에서 디코더를 고정한 상태로도 성능이 점진적으로 향상되었다는 것이다. 이것은 신경 가소성의 발현으로, 실시간 피드백을 통해 뇌 자체가 시스템에 적응하고 있음을 뜻한다. 중요한 것은 오프라인 시뮬레이션에서 이 향상이 재현되지 않았다는 점이다. 폐루프 실시간 상호작용 자체가 학습의 조건이었다.
장애물 회피, 목표 급변경, 연속 내비게이션
이 연구의 더 강한 기여는 단순 목표 도달을 넘어선 복합 과제에서의 성능이다. Respawn 과제에서 목표물이 예고 없이 위치를 바꿨을 때, 두 원숭이 모두 약 90%의 성공률을 보였다. 디코더를 재훈련하지 않고 이 수준이 가능했다는 것은 시스템의 일반화 능력을 직접적으로 보여준다.
연속 내비게이션 과제에서는 동적 카메라 추적이 적용된 1인칭·3인칭 VR 환경이 사용되었다. 원숭이들은 숲속 같은 시각적으로 복잡한 씬 안에서 장애물을 피하고 목표까지 연속적으로 이동했다. 이 씬은 의도적으로 집 안이나 거리 같은 실제 공간을 모사한 것이다. 특히 2D Center-Out 과제로 훈련된 디코더가 장애물 회피나 Respawn 과제에서도 유효하게 작동한 것은 중요한 결과다. 학습 시나리오를 벗어난 상황에서도 시스템이 견고하게 작동했다.
논문은 PMv와 PMd가 전체 해독에서 지배적인 역할을 담당했다고 명시한다. M1이 이전 연구들에서 중심이었다면, 이 연구는 운동 계획과 목표 표상에 특화된 전운동피질 영역들이 복합 내비게이션에서 핵심적 기여를 한다는 것을 처음으로 BCI 맥락에서 실증했다.
연구의 의미, 보조공학에서 공간 인터페이스로의 전환
이 논문은 BCI의 정의를 바꾸려 한다. "마우스나 커서의 뇌 기반 대체물"이 아니라, 신체 이동이 어려운 사람에게 공간 속에서 선택하고 이동하는 행위 자체를 되돌려주는 기술로의 전환이다.
훈련 방식의 혁신도 실질적인 기여다. 기존 연구에서 환자나 동물이 시스템을 능숙하게 사용하기까지 수개월의 훈련이 필요한 경우가 많았다. 이 연구는 신체 움직임이 전혀 없어도, Passive Fixation이라는 수동 관찰 단계만으로 디코더를 구성할 수 있음을 보였다. 운동 기능이 완전히 상실된 환자에게도 적용 가능한 경로를 열어준다는 뜻이다. Janssen 교수는 이렇게 말했다. "뇌가 시스템에 놀랍도록 빠르게 적응한다." 그리고 그 말은 이 시스템의 임상적 가능성을 요약한다.
연구팀은 2년 안에 ALS 또는 파킨슨병 환자를 대상으로 첫 임상 시험을 시작하겠다는 계획을 밝혔다.
남겨진 질문
이 연구가 보여주는 것이 설득력 있는 만큼, 남겨진 질문들도 무겁다.
첫째, 동물 모델의 한계다. 마카크와 인간의 뇌 구조는 유사하지만 동일하지 않다. 특히 PMv에 해당하는 인간 뇌 영역의 정확한 위치와 기능은 아직 충분히 파악되지 않았다. Janssen 자신도 이 부분의 추가 연구가 필요하다고 인정했다.
둘째, 피질 내 삽입형 전극의 장기 안정성 문제다. Utah 배열 전극은 시간이 지나면서 뇌 조직과의 인터페이스가 저하되는 경향이 있다. 이것은 Neuralink의 초기 사례에서도 드러났던 문제이며, 신호 품질의 장기적 유지는 실용화의 전제 조건이다.
셋째, 원숭이 실험에는 없는 변수들이 인간에게는 존재한다. 피로, 주의 분산, 정서 상태, 약물의 영향, 동시에 진행되는 다른 인지 과제들이 BCI 성능에 미치는 영향은 이 연구가 다루지 않는다.
넷째, VR과 실제 물리 공간 사이의 거리다. 가상 환경에서의 성공이 실제 전동 휠체어 제어로 얼마나 직접적으로 전환될 수 있는지는 후속 연구가 필요하다.
다섯째, 윤리적 고려다. 침습 수술을 수반하는 기술인 만큼 적응증의 범위, 동의 능력이 제한된 환자에 대한 판단 기준, 장기 이식에 따른 의존성과 정체성 문제는 기술적 완성도와 함께 정교하게 다루어져야 한다.
불편한 질문, 뇌는 '몸 없이' 행위할 수 있는가
인간의 인지는 수백만 년에 걸쳐 몸과 함께 진화했다. 걷고, 넘어지고, 저항을 느끼고, 균형을 잃으면서 공간을 이해하는 방식이 신경계에 새겨졌다. 철학에서 말하는 체화된 인지(embodied cognition)의 핵심이 여기 있다. 뇌는 몸의 감각과 운동 경험을 통해 세계를 구성한다. 그런데 이 연구는 그 연결고리를 의도적으로 우회한다. 신체 신호 없이, 오직 운동 의도 관련 신경 활동만으로 공간 행위를 대체하는 것이 가능한가를 묻는다. 기술적으로는 가능하다는 답을 내놓았다. 그러나 그것이 진화가 설계한 몸-뇌 협력 구조를 온전히 대신할 수 있는가는 다른 질문이다.
두려움의 층위도 있다. 이 기술이 마비 환자에게 행위 가능성을 돌려준다는 것은 명확한 선이다. 그러나 그 경계가 흐려지기 시작하면 어떻게 되는가. 신체 능력이 있는 사람이 더 빠른 제어를 위해 피질 내 삽입형 전극을 선택하는 미래가 오면, 우리는 무엇을 기준으로 그 선택을 평가할 것인가. 윤리는 항상 기술보다 늦게 도착한다.
Janssen은 현재의 BCI 경험이 "귀를 움직이려는 것처럼 부자연스러운 느낌"을 줄 수 있다고 말했다. 그 솔직함은 중요하다. 뇌가 새로운 연결을 학습하는 것은 가능하다. 그러나 그 학습이 기존의 신체-인지 회로를 대체하는 것인지, 단지 병렬로 추가되는 것인지는 아직 모른다. 이 논문이 답하지 않은 질문이고, 어쩌면 지금 당장 답할 수 없는 질문이다.
움직임의 복원이 아니라, 행위 가능성의 복원
이 연구의 의미를 기술적 성취로만 읽는 것은 충분하지 않다. 마카크 원숭이가 생각만으로 가상 숲속을 이동하고 장애물을 피했다는 사실이 인상적인 것은 맞다. 그러나 더 깊은 층위에 있는 것은 따로 있다. 신체의 이동 능력이 박탈된 이후에도, 공간 속에서 선택하고 방향을 바꾸고 목표를 향해 나아가는 행위 자체를 다시 가질 수 있다는 가능성이다.
그리고 맨처음 던진 질문은 여기서 완전히 해소되지 않는다.
뇌가 몸을 뛰어 넘어도 되는가. 뇌가 몸 없이 행위할 수 있는가.
이 논문은 그것이 기술적으로 가능하다는 첫 번째 강한 증거를 내놓았다. 그러나 그것이 인지적으로 온전한가, 진화적으로 지속 가능한가, 윤리적으로 어디까지 허용되어야 하는가는 열린 채로 남아 있다. 그 열림이 이 연구의 정직한 위치다. 그리고 그 질문을 우리 앞에 놓아두었다는 것 자체가, 이 논문의 또다른 기여다.
[METAX = 차오름 기자]
[ⓒ META-X. 무단전재-재배포 금지]