신경과학과 인공지능의 결합을 뜻하는 NeuroAI 분야는 빠르게 발전하고 있으나, 연구 결과의 재현성이 떨어지는 '재현성 위기'에 직면해 있다. 기존에는 공통된 평가 기준이 없어 서로 다른 AI 모델의 성능을 비교하기가 매우 어려웠다. 연구자들은 각기 다른 전처리 방식과 훈련 방법, 그리고 소규모의 파편화된 데이터셋에 의존해왔으며, 이로 인해 특정 아키텍처가 인간의 복잡한 뇌 전기 패턴을 해석하는 데 실제로 뛰어난 것인지, 아니면 단일 임상 실험에 최적화된 것인지 구분하기가 힘들었다.

이러한 문제를 해결하기 위해 Meta가 새로운 표준화 이니셔티브인 NeuralBench를 내놓았다. 이 프로젝트는 뇌 영상 데이터를 처리하는 AI 모델을 평가하기 위한 '골드 스탠다드'를 확립하는 것을 목표로 한다. 이번에 출시된 NeuralBench-EEG v1.0은 94개의 데이터셋에 걸친 36개의 뇌파(EEG) 분석 작업을 집대성했다. 또한 14개의 서로 다른 딥러닝 아키텍처를 위한 표준 인터페이스를 제공함으로써, 기존 연구의 한계였던 소규모 데이터 의존성에서 벗어나 더욱 폭넓은 신호 분석을 가능하게 했다.

프레임워크 도입 결과는 AI 업계의 통념에 도전하고 있다. 특히 자연어 처리나 컴퓨터 비전 분야를 장악한 거대 파운데이션 모델이 뇌 신호 해석 분야에서는 특화된 모델보다 압도적인 성능을 보여주지 못한다는 점이 밝혀졌다. 파운데이션 모델은 그 규모와 범용성 덕분에 잠재력이 높지만, 뇌 디코딩을 위한 만능 해결책은 아직 되지 못하고 있다.

또한 이번 벤치마크는 임상 예측이나 인지 디코딩과 같은 핵심 응용 분야가 여전히 매우 높은 난이도를 가지고 있다는 점을 시사한다. 현재 가장 뛰어난 아키텍처조차 실제 의료 현장에서 요구되는 정확도 수준에 도달하는 데 어려움을 겪고 있다. 이는 생성형 AI에 대한 높은 기대와 별개로, 뇌파 디코딩은 파라미터 수를 늘리는 것 이상의 고난도 공학적 도전 과제임을 의미한다.

향후 NeuralBench는 모듈식 설계를 바탕으로 지속적으로 확장될 예정이다. 이미 자기뇌자공명영상(MEG) 및 기능적 자기공명영상(fMRI) 데이터셋에 대한 확장 계획도 마련되어 있다. 글로벌 연구 커뮤니티의 참여를 통해 NeuroAI가 실험적인 단계를 넘어 엄격하고 통합된 과학적 학문으로 자리 잡는 데 필요한 기반을 제공할 것으로 기대된다. 이는 뇌-컴퓨터 인터페이스(BCI)의 실용화를 앞당기는 중요한 진전이 될 것이다.

신경과학과 인공지능의 결합을 뜻하는 NeuroAI 분야는 빠르게 발전하고 있으나, 연구 결과의 재현성이 떨어지는 '재현성 위기'에 직면해 있다. 기존에는 공통된 평가 기준이 없어 서로 다른 AI 모델의 성능을 비교하기가 매우 어려웠다. 연구자들은 각기 다른 전처리 방식과 훈련 방법, 그리고 소규모의 파편화된 데이터셋에 의존해왔으며, 이로 인해 특정 아키텍처가 인간의 복잡한 뇌 전기 패턴을 해석하는 데 실제로 뛰어난 것인지, 아니면 단일 임상 실험에 최적화된 것인지 구분하기가 힘들었다.

이러한 문제를 해결하기 위해 Meta가 새로운 표준화 이니셔티브인 NeuralBench를 내놓았다. 이 프로젝트는 뇌 영상 데이터를 처리하는 AI 모델을 평가하기 위한 '골드 스탠다드'를 확립하는 것을 목표로 한다. 이번에 출시된 NeuralBench-EEG v1.0은 94개의 데이터셋에 걸친 36개의 뇌파(EEG) 분석 작업을 집대성했다. 또한 14개의 서로 다른 딥러닝 아키텍처를 위한 표준 인터페이스를 제공함으로써, 기존 연구의 한계였던 소규모 데이터 의존성에서 벗어나 더욱 폭넓은 신호 분석을 가능하게 했다.

프레임워크 도입 결과는 AI 업계의 통념에 도전하고 있다. 특히 자연어 처리나 컴퓨터 비전 분야를 장악한 거대 파운데이션 모델이 뇌 신호 해석 분야에서는 특화된 모델보다 압도적인 성능을 보여주지 못한다는 점이 밝혀졌다. 파운데이션 모델은 그 규모와 범용성 덕분에 잠재력이 높지만, 뇌 디코딩을 위한 만능 해결책은 아직 되지 못하고 있다.

또한 이번 벤치마크는 임상 예측이나 인지 디코딩과 같은 핵심 응용 분야가 여전히 매우 높은 난이도를 가지고 있다는 점을 시사한다. 현재 가장 뛰어난 아키텍처조차 실제 의료 현장에서 요구되는 정확도 수준에 도달하는 데 어려움을 겪고 있다. 이는 생성형 AI에 대한 높은 기대와 별개로, 뇌파 디코딩은 파라미터 수를 늘리는 것 이상의 고난도 공학적 도전 과제임을 의미한다.

향후 NeuralBench는 모듈식 설계를 바탕으로 지속적으로 확장될 예정이다. 이미 자기뇌자공명영상(MEG) 및 기능적 자기공명영상(fMRI) 데이터셋에 대한 확장 계획도 마련되어 있다. 글로벌 연구 커뮤니티의 참여를 통해 NeuroAI가 실험적인 단계를 넘어 엄격하고 통합된 과학적 학문으로 자리 잡는 데 필요한 기반을 제공할 것으로 기대된다. 이는 뇌-컴퓨터 인터페이스(BCI)의 실용화를 앞당기는 중요한 진전이 될 것이다.