VocabX, 에세이 채점 추론 비용 77% 절감

Dharma-AI 연구진은 언어 모델의 어휘를 특정 작업에 맞추는 방법인 VocabX가 실제 운영 중인 포르투갈어 에세이 채점기의 측정 추론 비용을 77.0% 낮췄다고 밝혔습니다. 결과는 아직 심사 중이며 출판 전에 바뀔 수 있는 논문 최신 버전에 담겼습니다. 연구진은 RTX 5090 지피유와 vLLM 추론 서버를 이용해 요청 500건을 처리했으며, Qwen3-4B 기반 모델과 데이터, 학습 방식, 난수 시드는 그대로 두고 토크나이저만 다른 7개 버전을 시험했습니다.

채점기는 포르투갈어 에세이와 질문, 참고 자료를 읽고 역량별 점수와 의견을 담은 JSON 평가를 반환합니다. 기존 어휘에는 151,669개 항목이 있었고, 이 가운데 상당수는 해당 작업에서 거의 쓰이지 않았습니다. 평균 응답 길이는 350토큰에서 101토큰으로 감소했습니다. 채점 정확도와 주제 이탈·규칙 위반 에세이 선별 결과를 합친 벤치 점수는 0.703에서 0.810으로 상승했습니다.

연구진에 따르면 범용 토크나이저는 채점기의 JSON 구조나 역량 이름처럼 반복되는 분야별 문장을 여러 토큰으로 나눌 수 있습니다. 모델이 거의 쓰지 않는 어휘 항목에도 점수를 매기게 합니다. 이는 응답을 생성할 때 특히 중요합니다. 채점기 측정에서는 토큰 1개를 생성하는 비용이 입력 토큰 1개를 읽는 비용의 7.4배였습니다. 이 비율은 하드웨어와 작업, 묶음 크기, 문맥 길이에 따라 달라집니다.

VocabX는 토큰 빈도만 보지 않고 예상되는 비용과 시간 절감량에 따라 어휘 변경을 고릅니다. 단어를 나누는 방식을 바꾸는 하위 단어 수준과, 반복되는 JSON 전체 줄 같은 여러 단어 구간을 하나의 ‘매크로 토큰’으로 만드는 여러 단어 수준에서 작동합니다. 자동 검색 5종은 반복되는 긴 단어, 줄, 표현, 문장, 문장부호 기반 구조를 찾습니다. 말뭉치 8개에서 평균 기여도가 가장 컸던 것은 문장부호 구조 검색이었고, 코드에서는 17.5포인트를 기여했습니다. 검색 5종을 모두 쓰지 않았다면 채점기의 토큰 감소 폭은 55.6포인트 줄었을 것으로 추산됐습니다. 채점기의 출력층 행 수도 약 152,000개에서 약 65,000개로 감소했습니다.

VocabX는 표본에서 빠진 후보의 가치를 0으로 처리하지 않고 통계적으로 추정합니다. 연구진은 문서 50,000건에서 37번 등장한 표현이 문서 400건 표본에 포함될 확률은 약 26%라고 설명했습니다. 계약서 말뭉치에서는 후보의 16.6%만 400건 표본에 나타났습니다. 같은 표본과 예산을 썼을 때 이 추정 방식으로 해당 말뭉치의 토큰 감소율은 44.7%에서 52.8%로 올랐습니다.

계약서, 의학 논문, 과학 논문, 뉴스, 파이썬 코드 등 공개 분야 5곳과 Qwen3, Llama-3.1, Gemma-3 등 모델 계열 3종을 조합한 15개 경우 모두에서 VocabX는 가장 강력한 비교 방식보다 1.2~9.3포인트 더 압축했습니다. 가지치기 버전은 15개 조합 모두에서 추정 추론 비용도 가장 낮았습니다. 평균 비용 차이는 Qwen3에서 10.2포인트, Llama-3.1에서 7.5포인트, Gemma-3에서 13.6포인트였습니다. 계약서에서는 어휘 항목 113,426개로 토큰을 62.6% 줄였습니다. 어휘 항목 207,803개를 사용한 최적의 기존 BPE 설정은 61.8% 감소를 기록했습니다.

초기 VocabX 버전은 각 역량의 점수와 주변 JSON을 하나의 매크로 토큰으로 묶었습니다. 이 버전의 벤치 점수는 0.689로 실제 운영 채점기의 0.703보다 낮았습니다. 점수에 별도 토큰을 부여하자 응답마다 토큰이 2개 늘었지만 점수는 0.810으로 올랐고 비용은 77.0% 감소했습니다. 점수까지 합친 방식의 비용 감소율은 73.3%였습니다. Dharma-AI는 전체 방법과 실험 표를 곧 공개할 예정인 VocabX 논문에 담겠다고 밝혔습니다.

Dharma-AI 연구진은 언어 모델의 어휘를 특정 작업에 맞추는 방법인 VocabX가 실제 운영 중인 포르투갈어 에세이 채점기의 측정 추론 비용을 77.0% 낮췄다고 밝혔습니다. 결과는 아직 심사 중이며 출판 전에 바뀔 수 있는 논문 최신 버전에 담겼습니다. 연구진은 RTX 5090 지피유와 vLLM 추론 서버를 이용해 요청 500건을 처리했으며, Qwen3-4B 기반 모델과 데이터, 학습 방식, 난수 시드는 그대로 두고 토크나이저만 다른 7개 버전을 시험했습니다.

채점기는 포르투갈어 에세이와 질문, 참고 자료를 읽고 역량별 점수와 의견을 담은 JSON 평가를 반환합니다. 기존 어휘에는 151,669개 항목이 있었고, 이 가운데 상당수는 해당 작업에서 거의 쓰이지 않았습니다. 평균 응답 길이는 350토큰에서 101토큰으로 감소했습니다. 채점 정확도와 주제 이탈·규칙 위반 에세이 선별 결과를 합친 벤치 점수는 0.703에서 0.810으로 상승했습니다.

연구진에 따르면 범용 토크나이저는 채점기의 JSON 구조나 역량 이름처럼 반복되는 분야별 문장을 여러 토큰으로 나눌 수 있습니다. 모델이 거의 쓰지 않는 어휘 항목에도 점수를 매기게 합니다. 이는 응답을 생성할 때 특히 중요합니다. 채점기 측정에서는 토큰 1개를 생성하는 비용이 입력 토큰 1개를 읽는 비용의 7.4배였습니다. 이 비율은 하드웨어와 작업, 묶음 크기, 문맥 길이에 따라 달라집니다.

VocabX는 토큰 빈도만 보지 않고 예상되는 비용과 시간 절감량에 따라 어휘 변경을 고릅니다. 단어를 나누는 방식을 바꾸는 하위 단어 수준과, 반복되는 JSON 전체 줄 같은 여러 단어 구간을 하나의 ‘매크로 토큰’으로 만드는 여러 단어 수준에서 작동합니다. 자동 검색 5종은 반복되는 긴 단어, 줄, 표현, 문장, 문장부호 기반 구조를 찾습니다. 말뭉치 8개에서 평균 기여도가 가장 컸던 것은 문장부호 구조 검색이었고, 코드에서는 17.5포인트를 기여했습니다. 검색 5종을 모두 쓰지 않았다면 채점기의 토큰 감소 폭은 55.6포인트 줄었을 것으로 추산됐습니다. 채점기의 출력층 행 수도 약 152,000개에서 약 65,000개로 감소했습니다.

VocabX는 표본에서 빠진 후보의 가치를 0으로 처리하지 않고 통계적으로 추정합니다. 연구진은 문서 50,000건에서 37번 등장한 표현이 문서 400건 표본에 포함될 확률은 약 26%라고 설명했습니다. 계약서 말뭉치에서는 후보의 16.6%만 400건 표본에 나타났습니다. 같은 표본과 예산을 썼을 때 이 추정 방식으로 해당 말뭉치의 토큰 감소율은 44.7%에서 52.8%로 올랐습니다.

계약서, 의학 논문, 과학 논문, 뉴스, 파이썬 코드 등 공개 분야 5곳과 Qwen3, Llama-3.1, Gemma-3 등 모델 계열 3종을 조합한 15개 경우 모두에서 VocabX는 가장 강력한 비교 방식보다 1.2~9.3포인트 더 압축했습니다. 가지치기 버전은 15개 조합 모두에서 추정 추론 비용도 가장 낮았습니다. 평균 비용 차이는 Qwen3에서 10.2포인트, Llama-3.1에서 7.5포인트, Gemma-3에서 13.6포인트였습니다. 계약서에서는 어휘 항목 113,426개로 토큰을 62.6% 줄였습니다. 어휘 항목 207,803개를 사용한 최적의 기존 BPE 설정은 61.8% 감소를 기록했습니다.

초기 VocabX 버전은 각 역량의 점수와 주변 JSON을 하나의 매크로 토큰으로 묶었습니다. 이 버전의 벤치 점수는 0.689로 실제 운영 채점기의 0.703보다 낮았습니다. 점수에 별도 토큰을 부여하자 응답마다 토큰이 2개 늘었지만 점수는 0.810으로 올랐고 비용은 77.0% 감소했습니다. 점수까지 합친 방식의 비용 감소율은 73.3%였습니다. Dharma-AI는 전체 방법과 실험 표를 곧 공개할 예정인 VocabX 논문에 담겠다고 밝혔습니다.