뇌파기반 감정인식
ETRI(한국전자통신연구원)는 뇌파 기반 감정인식 기술을 개발했다. 2007년에 뇌파로부터 사용자의 감정 상태를 파악할 수 있는 '뇌파 기반 감정인식 기술'의 프로토타입을 개발했다(ETRI, 21/Feb/2007).
생각/마음 뇌파인식 – BCI/신경재활의학/신경보철의학
개념 – 사람의 뇌파를 감지/해석하는 뇌파기록장치(EEG)나 신경세포의 신호를 감지, 해석하는 두뇌 칩(Brain Chip)을 이용하여, 이식 또는 비이식 인터페이스 기술을 개발하면, 생각하는 대로 컴퓨터나 기계나 로봇을 작동(조작)할 수 있다. 이를 BCI(Brain-Computer Interface) 기술이라 한다.
이 기술은 CBI(Computer-Brain Interface)를 거쳐, BBI(Brain-Brain Interface)로 발전할 것으로 보인다. 단, 뇌파를 이용하는 ‘거짓말 탐지기’나 최근 인기 있는 ‘p300’의 ‘심리생리검사’는 이 내용에서 제외한다.
BCI
오스트리아의 Guger Technologies사는 뇌파기록장치(EEG)가 부착된 모자를 쓰고 자판의 글자를 집중에서 바라보면 타이핑이 되는 인텐딕스(IntendiX)를 판매 중에 있다.
미국 Duke 대학 의대는 2003년 원숭이의 운동중추기관에 칩(Brain Chip)을 이식하여 원숭이가 생각하는 대로 눈앞의 로봇 팔을 움직이는 기술을 선보였다(Carmena & Nicolelis et al., 2003).
궁극적으로 인간의 뇌에 이식한 두뇌 칩과 컴퓨터들은 마비 환자들로 하여금 타이핑도 하고, 집안의 조명과 난방 시스템을 조작하며, 자동차 운전도 가능하게 할 것으로 믿고 있다.
더 나아가 움직일 수 없는 수족 대신 로봇 팔과 손(robotic arms)을 만들어 대체하면 이들 로봇 팔을 조작할 수 있다. 팔과 다리가 움직일 수 없다는 것은 뇌의 명령이 팔과 다리로 전달이 안 되기 때문인데, 그 이유는 척수(spinal cord) 신경이 마비되었기 때문이다.
Cyberkinetics사는 2001년에 Brown University 대학의 신경과학과(Neuroscience) 학장인 도너휴(John P. Donoghue))에 의해 창업되었는데, 2002년에 이미 앞의 Duke 대학과 같은 비슷한 실험을 데모한 적이 있다(Donoghue et al., Nature, 2002).
이 데모에서 원숭이들은 조이스틱으로 비디오 게임을 즐겼는데, 조이스틱의 접속이 끊겨도 원숭이들은 그간 학습한 그들의 생각만으로 계속해서 게임을 즐기고 있었다. 이들이 개발한 브레인게이트(BrainGate)는 4평방 밀리미터 크기로 10 센트의 다임(dime)보다 작다.
이 BrainGate는 100개의 아주 작은 와이어들(wires)이 들어 있으며, 이 기술은 미국 솔트레이티시의 Bionic Technolgies LLC)사와 2002년에 합병하면서 취득한 것이다. 환자들의 두개골(skull)에 하나의 구멍(a hole)을 낸 후 이 와이어 어레이(wire array)가 정확하게 두뇌의 표면에 펀칭(punched) 되는 것이다.
2004년에 미국 뉴욕 주립대는 생각만으로 컴퓨터 커서를 움직이는 장치인 '생각하는 모자(wearing but thinking cap'를 개발했다(Wolpaw & McFarland, 2004). '생각하는 모자'를 착용한 4명의 장애인들이 잇단 실험들에서 생각만으로 컴퓨터상에서 커서를 이리 저리 움직일 수가 있었다고 과학자들은 밝혔다.
이번 연구는 생각만으로 로봇의 손과 발을 움직이는 새로운 방법들을 위한 길을 연 것이라고 연구자들은 밝혔다. '생각하는 모자'에 부착된 64개 전극들은 뇌파(brain waves)들을 기록해 이 뇌파들이 커서를 움직이도록 하는 것이다.
이 시스템은 개인이 가장 잘 통제할 수 있는 특정한 뇌파 패턴들에 반응할 수 있도록 조정할 수 있다. 장애인들 중 2명은 척수 장애가 있는 중증 장애인으로 동기 부여가 더 잘 돼 몸을 움직일 수 있는 나머지 2명의 장애인보다 커서를 더 잘 움직였다고 과학자들은 밝혀냈다.
2005년에 미국 Brown 대학의 John Donoghue 신경과학자와 사이버키네틱스(Cyberkinetics)사는 머리카락 굵기의 전극 100개로(100 Hair-Thin Electrodes) 구성된 두뇌 칩과 소프트웨어 장치인 브레인게이트(Braingate)를 팔을 사용할 수 없는 남자 두뇌의 운동피질(Motor Cortex)에 1㎜ 깊이로 이식하여 생각하는 대로 컴퓨터를 조정하고 게임을 하는 기술을 선보였다(Hochberg et al., 2006).
주인공은 지난 2001년 목을 칼에 찔려(a knife attack) 휠체어(wheelchair)에 의존해 살아가고 있는 미국인 매튜 네이글(Matthew Nagle, 당시 25세)이다.
일본 혼다(Honda) 2006년에 뇌신호로 기기 작동 – fMRI를 이용한 뇌 혈류 신호로 각종 로봇이나 착용 기기들을 작동하는 뇌-기계인터페이스(Brain Machine Interface) 프로토타이프 기술을 선보였다.
미국 Emotiv Systems사 뇌파로 게임 – 2007년에 뇌파기록장치(EEG) 모자를 쓰고 뇌파로 게임하는 기술을 개발 시판 중이다.
2008년에 University of Pittsburgh의 신경과학자들이 원숭이의 두뇌에 전극을 이식해 생각하는 대로 로봇팔을 움직여 음식을 먹거나 컴퓨터의 마우스를 작동시키는 실제 3차원적인 뇌 컴퓨터 인터페이스(BMI, Brain Machine Interface) 기술 개발에 성공했다.
세계 최초로 두뇌의 신호를 실제 운동으로 전환시키는 인터페이스 기술을 이용해 원숭이가 실제로 과자를 먹은 보철팔(prosthetic arms)이 사실상 기능화 되었다는 점에서 조만간 이 기술이 인간에 적용할 수 있는 발판을 마련했다는 평가이다(Velliste et al., Nature, 2008). 연구원들은 조만간 이 기술을 인간에게 적용할 예정이다.
2012년에 미국 University of Pittsburgh 대학의 안드루 슈워츠(Andrew Schwartz) 박사가 이끄는 연구팀은 뇌졸중(중풍, 마비, tetraplegia) 환자 여성(Jan Scheuermann)의 뇌에 센서인 Brain Chip을 대뇌피질 1Cm 아래에 이식하고, 컴퓨터에서 뉴런의 신호를 전기신호로 바꾼 뒤, 유무선 통신으로 로봇 팔(robot arms)을 조작하는데 성공했다(Collinger et al., 2013) ). 이로써 보철(prosthetic) 의학이 조만간 상용화 될 것으로 기대된다.
삼성전자의 Emerging Technology Lab은 드라이 뇌파기록장치가(Dry EEG) 달린 모자(cap)를 쓰고 뇌파(brainwaves)를 감지해 갤럭시 노트 10.1을 조작하는 연구를 미국의 Univ of University of Texas, Dallas와 공동으로 연구를 시작하고 있다고 Technology Review가 2013년 4월에 보도했다.
이 실험은 이메일, 친구에게 전화 걸기, 음악 고르기, 어플 동작, 전원을 켜고 끄기 등 우선 장애인들을 위한 프로젝트이지만, 언젠가는 비장애인들도 모자를 쓰고 스마트 디바이스를 조작할 것으로 기대된다. 결국 모든 삼성전자 스마트 디바이스에 이 BCI(brain-computer interface) 기술을 적용하고자 하는 것으로 보인다.
원래 뇌파는 약하고 노이즈가 심한 시그널이다(weak and noisy EEG signals). 이런 시그널로부터 디바이스를 제어할 수 있는 정확한 정보를 추출하는 것이 목표이다. 더욱이 일반 뇌파기록 장치는 젤이나 젖은(gel or wet) 상태의 전극들을 갖추고 있어 셋업 하는 데에만 45분 걸리나, 이번 연구는 드라이 전극으로 셋업 하는데 10초 밖에 걸리지 않았다.
Dry EEG의 약점인 신호수신이나 품질을 높여 5초 만에 디바이스를 조작하는 선택을 실험한 결과 신뢰도가 80~95%에 달한다(Youtube, 5 May 2013).
이러한 일련의 뇌 인터페이스 기술들은 오바바 대통령이 2013년 4월 2일에 발표한 ‘BRAIN initiative’와 관련된 것들이라 성공할 가능성이 높다.
Mental Model 인식
미국 코넬대를 중심으로 하는 일련의 신경과학자들(neuroscientists)이 기능성자기공명영상장비(fMRI, Functional Magnetic Resonance Imaging))를 이용해, 누가 어떤 이미지들(iamges)을 어떻게 분석하고 그 이미지들에 대해 무슨 생각을 하고 있는지를 알아내는 방법을 발견했다.
한 마디로 지금 당신이 뇌에서 무슨 생각을 하고 무슨 분석을 하고 있는지를 훤히 들여다 볼 수 있는 방법을 발견한 것이다. 사람들은 각자 생각할 때 즉 뇌를 활성(brain activation)화 시킬 때, 시간영역과 공간영역 등에서 사람마다 고유의 패턴 즉 독특한 패턴(unique patterns)을 가지고 있다.
이것이 우리 뇌의 내측전전두엽피질(the medial prefrontal cortex, mPFC)이 갖고 있는 Mental Models이다. 따라서 이 독특한 패턴을 감지하여 디코딩(Decoding)하면 무슨 생각을 하고 있는지 알게 되는 것이다. 이 기술을 이용하면 어떤 특정 상황에서 어떤 사람이 무슨 행동을 할 것인지를 알아낼 수 있다.
2002년에 개봉된 2054년을 배경으로 하는 영화 <Minority Report>에 등장하는 뉴런을 연결하는 시냅스(Synapse) 메커니즘을 이용한 '사전범죄예방시스템(Pre-Crime Prevention System)'을 만들 수도 있다. 즉, 생각하는 대로 이루어지는 세상이 오고 있는 것이다(Hassabis et al., Cerebral Cortex, 2013).
꿈을 해석
일본 과학자들이 잠자는 동안 꿈속에서 본 시각 이미지를 해독(Neural Decoding of Visual Imagery During Sleep)하는데 성공했다(Horikawa et al., 2013). 따라서 2010년 개봉된, 타인의 꿈에 접속해 정보를 훔치는 내용을 담은 영화, ‘인셉션(Inception)’의 시대가 곧 도래 할 것으로 보인다.
일본 국제전기통신기초기술연구소(ATR)와 나라(Nara) 등의 과학자들은 사람이 수면 중 꾸는 꿈의 내용을 뇌 활동 패턴을 통해 추정하는데 성공했다.
연구팀은 먼저 27~39세의 피 실험자 남성 3명에게, 깨어있는 동안 책, 컴퓨터 등 70가지 사물(objects)을 볼 때 나타나는 뇌파 변화의 특징을 데이터베이스에 기록했다. 그 다음 뇌파측정 장비를 장착한 남성 3명에게 낮잠을 자게하고, 꿈을 꿀 때 기능성자기공명영상장치(fMRI)로 뇌파를 분석해, 앞서 70가지 사물을 볼 때 나타난 뇌파와 비슷한 유형이 보이면, 실험자를 깨워 꿈의 내용을 확인했다.
이 작업을 1인당 200~250회 반복시킨 결과, 연구진은 같은 사물을 실제 눈으로 볼 때나 꿈에서 볼 때나 뇌파 변화는 똑같다는 사실을 알아냈다. 그 결과 꿈에 어떤 사물(여자, 문자, 책 등)이 나왔는지 70% 가량 적중시킨 것이다.
이번 연구는 꿈의 내용을 영상으로 재현한 것이 아니라 어떤 물체가 나왔느냐 정도를 알아낸 것이다. 하지만 처음으로 꿈을 해독한 것이고, 이는 향후 정신질환 진단 등에 응용할 수 있을 것이고, 언젠가는 꿈의 영상화가 가능하게 되어, 꿈속에서 애인 만나기, 꿈속에서 일하기 등이 가능할 것으로 보인다.
차원용 소장/교수/MBA/공학박사/미래학자
아스팩기술경영연구소(주) 대표, 국제미래학회 과학기술위원장, (사)창조경제연구회 이사, (사)한국지식재산상업화협회 부회장, 연세대학원/KAIST IP-CEO 겸임교수