논문, 메모리 진화가 테스트 시점 학습 앞선다고 보고

허깅페이스에 10월 23일 발표된 연구 논문은 대규모 언어 모델의 과학적 발견을 돕기 위해 모델 가중치를 바꾸는 대신 외부 메모리를 갱신하는 방법인 테스트 시점 메모리 진화(TTME)를 제시했습니다. 논문은 발견 과정에서 모델 가중치를 갱신해 계산 비용을 늘리는 테스트 시점 학습(TTT)과 TTME를 비교했습니다.

연구진은 같은 발견 프레임워크에서 테스트 시점 적응 방법만 바꿔 두 방법을 평가했습니다. TTME는 평가한 수학 과제 5개 모두에서 TTT보다 우수한 성능을 보였습니다. 저자들은 TTME가 부동소수점 연산량(FLOPs)을 82.8~84.6%, 실행 시간을 47.7~58.4% 줄였다고 보고했습니다.

논문은 TTME를 경험을 외부 메모리에 압축해 저장하고 이후 발견 단계를 안내하는 플러그 앤 플레이 방식의 대안으로 설명했습니다. 보고된 결과는 평가한 발견 설정에 적용됩니다. 저자로는 류예펑(Yepeng Liu), 천성마이(Shengmai Chen), 자오쉬안둥(Xuandong Zhao), 류청즈(Chengzhi Liu), 던 송(Dawn Song), 신 에릭 왕(Xin Eric Wang), 부위헝(Yuheng Bu)을 기재했으며, 소속은 캘리포니아대학교 샌타바버라 캠퍼스라고 밝혔습니다. 논문은 연구가 10월 28일 제출됐다고 명시했습니다.

초록은 앞서 나온 TTT 프레임워크가 오픈 웨이트 대규모 언어 모델로 과학적 발견 과제에서 추론만 수행하는 프런티어 모델 기반 프레임워크보다 나은 성능을 내도록 했다고 설명합니다. 논문은 온라인 가중치 갱신에 추가 계산 비용이 든다는 점을 TTME의 효율성을 시험한 동기로 제시했습니다. 논문에 보고된 결과는 수학 과제 5개 외에는 없습니다.

허깅페이스에 10월 23일 발표된 연구 논문은 대규모 언어 모델의 과학적 발견을 돕기 위해 모델 가중치를 바꾸는 대신 외부 메모리를 갱신하는 방법인 테스트 시점 메모리 진화(TTME)를 제시했습니다. 논문은 발견 과정에서 모델 가중치를 갱신해 계산 비용을 늘리는 테스트 시점 학습(TTT)과 TTME를 비교했습니다.

연구진은 같은 발견 프레임워크에서 테스트 시점 적응 방법만 바꿔 두 방법을 평가했습니다. TTME는 평가한 수학 과제 5개 모두에서 TTT보다 우수한 성능을 보였습니다. 저자들은 TTME가 부동소수점 연산량(FLOPs)을 82.8~84.6%, 실행 시간을 47.7~58.4% 줄였다고 보고했습니다.

논문은 TTME를 경험을 외부 메모리에 압축해 저장하고 이후 발견 단계를 안내하는 플러그 앤 플레이 방식의 대안으로 설명했습니다. 보고된 결과는 평가한 발견 설정에 적용됩니다. 저자로는 류예펑(Yepeng Liu), 천성마이(Shengmai Chen), 자오쉬안둥(Xuandong Zhao), 류청즈(Chengzhi Liu), 던 송(Dawn Song), 신 에릭 왕(Xin Eric Wang), 부위헝(Yuheng Bu)을 기재했으며, 소속은 캘리포니아대학교 샌타바버라 캠퍼스라고 밝혔습니다. 논문은 연구가 10월 28일 제출됐다고 명시했습니다.

초록은 앞서 나온 TTT 프레임워크가 오픈 웨이트 대규모 언어 모델로 과학적 발견 과제에서 추론만 수행하는 프런티어 모델 기반 프레임워크보다 나은 성능을 내도록 했다고 설명합니다. 논문은 온라인 가중치 갱신에 추가 계산 비용이 든다는 점을 TTME의 효율성을 시험한 동기로 제시했습니다. 논문에 보고된 결과는 수학 과제 5개 외에는 없습니다.