Kitana, 토큰 예측 대신 사전 탐색 기반 언어 모델 공개
- •에콩 익페(Ekong Ikpe)가 기존 LLM의 토큰 예측 방식을 사전 기반 탐색으로 대체하는 시스템 'Kitana'를 발표했다.
- •Kitana는 확률적 패턴 매칭이 아닌, 구조화된 의미 그래프에 기반해 언어를 이해하도록 설계되었다.
- •현재 초기 테스트 단계에 있으며, 개발자는 언어의 모호성과 복잡성을 처리하는 능력을 평가하고 있다.
에콩 익페는 2026년 6월 21일, 기존의 토큰 예측 방식을 대체하는 실험적 시스템 Kitana에 대한 세부 정보를 공개했다. 일반적인 언어 모델이 확률적 추측과 패턴 매칭에 의존하는 것과 달리, Kitana는 구조화된 의미망을 우선시하는 인지적 시스템으로 기능한다. 핵심 구조는 사전을 기초 레이어로 활용하며, A~Z 및 0~9와 같은 기본 기호에서 시작해 철자, 문법, 복잡한 의미 체계로 구축해 나가는 방식이다. 이는 언어 이해를 저장된 정보의 단순 회수나 통계적 예측이 아닌, 역동적인 구성 과정으로 처리한다.
이 시스템은 모든 단어가 타 단어들과 정의된 연결 고리를 유지하는 그래프, 이른바 '탱크(tank)' 구조를 통해 지식을 조직한다. 이러한 방식은 LLM에서 자주 관찰되는 의미의 불안정성을 해결하기 위한 시도다. 개발자는 기존 아키텍처가 의미를 구조에 고정하지 않은 채 매개변수와 데이터 규모만 늘리고 있다고 지적한다. Kitana는 인간의 학습 과정과 유사한 단계적 커리큘럼을 따르며, 관계를 하나씩 추적하는 과정을 통해 추론 능력을 도출한다.
현재 해당 프로젝트는 초기 단계이며, 속어, 모호성, 모순, 예외 상황 등 인간 언어 고유의 기술적 난제에 직면해 있다. 개발자는 현재 이러한 구조적 접근 방식의 한계를 시험하며, 실제 언어의 복잡성을 얼마나 효과적으로 처리할 수 있는지 평가 중이다. 초기 관찰에 따르면, Kitana는 통계적 추측보다 공식적인 정의를 우선 참조하는 경향을 보이며, 기초 구조에서 지능이 발현되는 새로운 경로를 제시하고 있다.