ByteDance Seed 연구진은 10월 14일 발표한 논문에서 문맥을 제거한 뒤에도 대규모 언어 모델이 문맥으로 얻은 성능 향상을 유지하도록 하는 방법 Cortex를 제안했습니다. 이 방법은 성능 향상을 병합 가능한 매개변수 업데이트로 통합하면서, 업데이트와 관련 없는 능력은 보존하는 것을 목표로 합니다. 연구진은 문맥 기반 편집, 기술 학습, 행동 조정을 하나의 목표로 묶어 이를 기억 통합으로 설명했습니다.

논문은 단일·일괄·순차 업데이트 뒤 모델이 변화를 얼마나 유지하는지 측정하는 다섯 과제군 테스트베드를 제시했습니다. Cortex는 제공된 문맥이 어떻게 쓰일지 예상하는 질의를 생성한 뒤, 문맥에 따라 달라진 출력을 병합 가능한 저랭크 또는 구조적 업데이트로 증류해 피드포워드 신경망에 반영합니다. 평가는 매개변수가 4B에서 120B에 이르는 밀집형 및 전문가 혼합 모델을 대상으로 했으며, 텍스트 전용 모델과 멀티모달 모델도 포함했습니다.

평가된 대부분의 설정에서 Cortex는 성능 향상의 통합과 유지 사이에서 실험상 최전선에 해당하는 결과를 보였습니다. 한 시험에서 Cortex-Structural은 14B 모델에 사실 정보를 순차적으로 50회 편집해 적용했고, 문맥으로 유도된 향상분의 88.9%를 회복했으며 비대상 과제에서 모델의 기존 성능 99.8%를 유지했습니다. 논문은 이 접근법이 지속적 학습을 위해 지식을 모델 내부에 정착시키면서 기존 능력도 보존한다고 설명했습니다.

ByteDance Seed 연구진은 10월 14일 발표한 논문에서 문맥을 제거한 뒤에도 대규모 언어 모델이 문맥으로 얻은 성능 향상을 유지하도록 하는 방법 Cortex를 제안했습니다. 이 방법은 성능 향상을 병합 가능한 매개변수 업데이트로 통합하면서, 업데이트와 관련 없는 능력은 보존하는 것을 목표로 합니다. 연구진은 문맥 기반 편집, 기술 학습, 행동 조정을 하나의 목표로 묶어 이를 기억 통합으로 설명했습니다.

논문은 단일·일괄·순차 업데이트 뒤 모델이 변화를 얼마나 유지하는지 측정하는 다섯 과제군 테스트베드를 제시했습니다. Cortex는 제공된 문맥이 어떻게 쓰일지 예상하는 질의를 생성한 뒤, 문맥에 따라 달라진 출력을 병합 가능한 저랭크 또는 구조적 업데이트로 증류해 피드포워드 신경망에 반영합니다. 평가는 매개변수가 4B에서 120B에 이르는 밀집형 및 전문가 혼합 모델을 대상으로 했으며, 텍스트 전용 모델과 멀티모달 모델도 포함했습니다.

평가된 대부분의 설정에서 Cortex는 성능 향상의 통합과 유지 사이에서 실험상 최전선에 해당하는 결과를 보였습니다. 한 시험에서 Cortex-Structural은 14B 모델에 사실 정보를 순차적으로 50회 편집해 적용했고, 문맥으로 유도된 향상분의 88.9%를 회복했으며 비대상 과제에서 모델의 기존 성능 99.8%를 유지했습니다. 논문은 이 접근법이 지속적 학습을 위해 지식을 모델 내부에 정착시키면서 기존 능력도 보존한다고 설명했습니다.