PFN, 번역 특화 LLM 'PLaMo 3 Translate' 공개

Preferred Networks(PFN)는 번역 특화 LLM 'PLaMo 3 Translate'의 가중치를 Hugging Face에 공개했습니다. 0.8B, 2B, 8B, 31B의 4가지 크기가 있으며 53개 언어 번역을 지원합니다. 개발사에 따르면 가장 작은 0.8B 모델도 일영 및 일본어와 다국어 번역에서 30배 이상 큰 기존 번역 특화 LLM을 웃도는 성능을 기록했습니다. 주변 문맥, 번역 용어집, 常体·敬体(평어·존댓말) 지정도 지원합니다.

각 크기마다 BF16 가중치 외에 FP8, W4A16, W4AFP8, NVFP4, GGUF, MLX 형식을 제공합니다. 양자화에는 AutoRound 등을 사용했으며, 벤치마크에서 각 양자화 형식의 정밀도 저하를 BF16 버전 대비 최소화했다고 밝혔습니다. 배포 형식은 GPU, CPU, Apple silicon 등 이용 환경과 추론 엔진에 맞춰 고를 수 있습니다. 라이선스는 PLaMo 커뮤니티 라이선스입니다. 개인 학습이나 취미 용도는 무료이며 비상업적 이용에는 사전 등록이 필요 없습니다. 이용자 또는 관계사의 직전 사업연도 수입·매출이 10억 엔 이하라면 전용 양식으로 사전 등록 후 상업적 이용도 무료입니다. 10억 엔을 넘는 상업적 이용에는 별도 계약이 필요합니다.

PFN은 스마트폰에서 0.8B 모델을 구동하는 사내 데모도 공개했습니다. 비행기 모드처럼 인터넷에 연결되지 않은 환경에서도 빠르고 자연스러운 번역이 가능하지만, PFN이 현재 이 앱 자체를 제공하는 것은 아닙니다.

학습은 PLaMo 3세대 사전학습 기반 모델에 두 단계의 지도 미세조정(정답 예시로 출력을 학습하는 방법)을 적용한 뒤, 직접 선호 최적화(선호되는 응답을 더 잘 고르도록 조정하는 방법)를 수행하는 구조입니다. 1단계에서는 대량의 원문·번역문 쌍으로 번역 과제에 적응시키고, 2단계에서는 실사용에 가까운 다양한 원문과 더 정제된 합성 번역문으로 품질을 높입니다. 8B 이하 모델은 2단계 지도 미세조정과 선호 최적화 사이에 31B 모델로부터의 지식 증류를 수행해 대형 모델의 능력을 소형 모델로 옮깁니다.

번역 성능 평가에는 일영용 사내 PFTB 벤치마크와, 번역 SaaS의 실제 요청 형식에 가까운 영일 전용 SaaS 벤치마크를 사용했습니다. 두 벤치마크 모두 참조 번역문과의 문자열 유사도로 평가합니다. 이 밖에 WMT24++ 일본어 트랙에서는 COMET-22를, 다국어 평가인 FLORES+에서는 일본어·영어 및 여러 언어 간 번역에 chrF++를 사용했습니다. PFTB는 논문, 제품 리뷰, 시 등을 포함하고, SaaS 벤치마크는 HTML 태그를 유지한 웹페이지 번역을 요구합니다. WMT24++는 짧은 문장 위주이고 참조 번역 품질에 우려가 있어, 개발 중에는 주로 PFTB와 SaaS 점수를 참고했다고 설명합니다.

학습 데이터의 대부분은 웹 등에서 수집한 원문에 LLM으로 번역문을 붙여 만들었습니다. 원문 수집에서는 스팸을 피하고 문장, 호스트, 분야의 다양성을 확보하며, 각 언어의 원어민 문장을 우선합니다. 언어가 섞였거나 기계번역에서 나온 문장도 언어별 규칙과 필터로 제외합니다. 번역문 합성에는 Gemma 4 31B IT를 채택했습니다. 토너먼트 방식의 데이터 합성에서는 여러 후보를 비교·융합하고 후보의 장점을 취합해 개선합니다. 역번역에서는 합성 번역문을 다시 원문으로 되돌린 쌍도 만들지만, 정보 대응을 유지하기 위해 Gemma 4로 원문을 조정하면서 자연스러운 표현을 최대한 보존합니다.

반복적 자기 증류에서는 당시의 PLaMo 번역 모델이 여러 후보를 내고, 토너먼트 합성으로 개선한 번역문을 기존 데이터의 번역문과 비교합니다. 새 번역문이 더 낫다고 판정되면 데이터에 채택하고, 갱신된 데이터로 다시 학습하는 과정을 반복합니다. 계산 비용 문제로 이 방법은 2단계 데이터에만 적용했습니다. 최종 데이터는 1단계 약 33.9B 토큰, 2단계 약 3.4B 토큰, 합계 약 37.3B 토큰이며, 회사는 문고본 수십만 권 분량에 해당한다고 설명합니다. 2단계에는 학술 논문, 문학, 기술 문서, 금융, 특허, 의료, 뉴스, 백과사전, 웹 문장, 구어, 전사, 브라우저 번역, 파일 번역 등이 포함됩니다.

회사의 평가에 따르면 일영 성능은 1단계 지도 미세조정에서 베이스 모델 대비 크게 올랐고 2단계에서도 향상되었습니다. 0.8B 모델이 8B인 PLaMo 2 Translate를 능가했다고 밝혔습니다. 다국어 성능도 1단계에서 크게 올랐으며, 특히 소형 모델의 향상이 두드러졌습니다. PLaMo 2 Translate에서는 후단의 선호 최적화에 따른 개선이 눈에 띄었던 반면, PLaMo 3 Translate에서는 데이터를 정제하는 것만으로 지도 미세조정만으로도 성능을 크게 높였다고 설명합니다.

직접 선호 최적화에서는 같은 원문에 대한 후보 번역을 Gemma 4 31B IT로 평가해, 가장 좋은 것을 chosen, 상대적으로 나쁜 것을 rejected로 삼아 학습합니다. 이를 두 단계로 반복하는 반복적 DPO를 실시했습니다. 벤치마크상의 차이는 거의 측정되지 않을 만큼 작았지만, 31B 모델의 쌍별 비교에서는 DPO 1회차가 SFT 대비 영일 57%, 일영 59%의 승률을 보였습니다. 2회차는 1회차 대비 영일 53%, 일영 57%였습니다. 판정에는 Gemini 3.1 Pro를 사용했고, 제시 순서를 바꿔 샘플마다 두 번 평가했으며, 판정이 엇갈리면 양쪽에 0.5승을 부여했습니다. 예로, 점주의 문장에서는 '손님이 기뻐하는 모습'이 '손님이 기뻐하는 모습'으로, 의약품 설명에서는 '치료에 적응하고 있다'가 '치료에 적응이 있다'로 바뀌었습니다. PFN은 DPO가 모든 표현을 항상 개선하지는 않지만 유창성을 높이는 세밀한 조정을 하는 경향이 있다고 말합니다. 개발 초기에 검토한 GRPO는 벤치마크 점수는 올랐지만 사람 평가에서 유창성이 떨어지는 경향이 있어 채택하지 않았습니다.

Preferred Networks(PFN)는 번역 특화 LLM 'PLaMo 3 Translate'의 가중치를 Hugging Face에 공개했습니다. 0.8B, 2B, 8B, 31B의 4가지 크기가 있으며 53개 언어 번역을 지원합니다. 개발사에 따르면 가장 작은 0.8B 모델도 일영 및 일본어와 다국어 번역에서 30배 이상 큰 기존 번역 특화 LLM을 웃도는 성능을 기록했습니다. 주변 문맥, 번역 용어집, 常体·敬体(평어·존댓말) 지정도 지원합니다.

각 크기마다 BF16 가중치 외에 FP8, W4A16, W4AFP8, NVFP4, GGUF, MLX 형식을 제공합니다. 양자화에는 AutoRound 등을 사용했으며, 벤치마크에서 각 양자화 형식의 정밀도 저하를 BF16 버전 대비 최소화했다고 밝혔습니다. 배포 형식은 GPU, CPU, Apple silicon 등 이용 환경과 추론 엔진에 맞춰 고를 수 있습니다. 라이선스는 PLaMo 커뮤니티 라이선스입니다. 개인 학습이나 취미 용도는 무료이며 비상업적 이용에는 사전 등록이 필요 없습니다. 이용자 또는 관계사의 직전 사업연도 수입·매출이 10억 엔 이하라면 전용 양식으로 사전 등록 후 상업적 이용도 무료입니다. 10억 엔을 넘는 상업적 이용에는 별도 계약이 필요합니다.

PFN은 스마트폰에서 0.8B 모델을 구동하는 사내 데모도 공개했습니다. 비행기 모드처럼 인터넷에 연결되지 않은 환경에서도 빠르고 자연스러운 번역이 가능하지만, PFN이 현재 이 앱 자체를 제공하는 것은 아닙니다.

학습은 PLaMo 3세대 사전학습 기반 모델에 두 단계의 지도 미세조정(정답 예시로 출력을 학습하는 방법)을 적용한 뒤, 직접 선호 최적화(선호되는 응답을 더 잘 고르도록 조정하는 방법)를 수행하는 구조입니다. 1단계에서는 대량의 원문·번역문 쌍으로 번역 과제에 적응시키고, 2단계에서는 실사용에 가까운 다양한 원문과 더 정제된 합성 번역문으로 품질을 높입니다. 8B 이하 모델은 2단계 지도 미세조정과 선호 최적화 사이에 31B 모델로부터의 지식 증류를 수행해 대형 모델의 능력을 소형 모델로 옮깁니다.

번역 성능 평가에는 일영용 사내 PFTB 벤치마크와, 번역 SaaS의 실제 요청 형식에 가까운 영일 전용 SaaS 벤치마크를 사용했습니다. 두 벤치마크 모두 참조 번역문과의 문자열 유사도로 평가합니다. 이 밖에 WMT24++ 일본어 트랙에서는 COMET-22를, 다국어 평가인 FLORES+에서는 일본어·영어 및 여러 언어 간 번역에 chrF++를 사용했습니다. PFTB는 논문, 제품 리뷰, 시 등을 포함하고, SaaS 벤치마크는 HTML 태그를 유지한 웹페이지 번역을 요구합니다. WMT24++는 짧은 문장 위주이고 참조 번역 품질에 우려가 있어, 개발 중에는 주로 PFTB와 SaaS 점수를 참고했다고 설명합니다.

학습 데이터의 대부분은 웹 등에서 수집한 원문에 LLM으로 번역문을 붙여 만들었습니다. 원문 수집에서는 스팸을 피하고 문장, 호스트, 분야의 다양성을 확보하며, 각 언어의 원어민 문장을 우선합니다. 언어가 섞였거나 기계번역에서 나온 문장도 언어별 규칙과 필터로 제외합니다. 번역문 합성에는 Gemma 4 31B IT를 채택했습니다. 토너먼트 방식의 데이터 합성에서는 여러 후보를 비교·융합하고 후보의 장점을 취합해 개선합니다. 역번역에서는 합성 번역문을 다시 원문으로 되돌린 쌍도 만들지만, 정보 대응을 유지하기 위해 Gemma 4로 원문을 조정하면서 자연스러운 표현을 최대한 보존합니다.

반복적 자기 증류에서는 당시의 PLaMo 번역 모델이 여러 후보를 내고, 토너먼트 합성으로 개선한 번역문을 기존 데이터의 번역문과 비교합니다. 새 번역문이 더 낫다고 판정되면 데이터에 채택하고, 갱신된 데이터로 다시 학습하는 과정을 반복합니다. 계산 비용 문제로 이 방법은 2단계 데이터에만 적용했습니다. 최종 데이터는 1단계 약 33.9B 토큰, 2단계 약 3.4B 토큰, 합계 약 37.3B 토큰이며, 회사는 문고본 수십만 권 분량에 해당한다고 설명합니다. 2단계에는 학술 논문, 문학, 기술 문서, 금융, 특허, 의료, 뉴스, 백과사전, 웹 문장, 구어, 전사, 브라우저 번역, 파일 번역 등이 포함됩니다.

회사의 평가에 따르면 일영 성능은 1단계 지도 미세조정에서 베이스 모델 대비 크게 올랐고 2단계에서도 향상되었습니다. 0.8B 모델이 8B인 PLaMo 2 Translate를 능가했다고 밝혔습니다. 다국어 성능도 1단계에서 크게 올랐으며, 특히 소형 모델의 향상이 두드러졌습니다. PLaMo 2 Translate에서는 후단의 선호 최적화에 따른 개선이 눈에 띄었던 반면, PLaMo 3 Translate에서는 데이터를 정제하는 것만으로 지도 미세조정만으로도 성능을 크게 높였다고 설명합니다.

직접 선호 최적화에서는 같은 원문에 대한 후보 번역을 Gemma 4 31B IT로 평가해, 가장 좋은 것을 chosen, 상대적으로 나쁜 것을 rejected로 삼아 학습합니다. 이를 두 단계로 반복하는 반복적 DPO를 실시했습니다. 벤치마크상의 차이는 거의 측정되지 않을 만큼 작았지만, 31B 모델의 쌍별 비교에서는 DPO 1회차가 SFT 대비 영일 57%, 일영 59%의 승률을 보였습니다. 2회차는 1회차 대비 영일 53%, 일영 57%였습니다. 판정에는 Gemini 3.1 Pro를 사용했고, 제시 순서를 바꿔 샘플마다 두 번 평가했으며, 판정이 엇갈리면 양쪽에 0.5승을 부여했습니다. 예로, 점주의 문장에서는 '손님이 기뻐하는 모습'이 '손님이 기뻐하는 모습'으로, 의약품 설명에서는 '치료에 적응하고 있다'가 '치료에 적응이 있다'로 바뀌었습니다. PFN은 DPO가 모든 표현을 항상 개선하지는 않지만 유창성을 높이는 세밀한 조정을 하는 경향이 있다고 말합니다. 개발 초기에 검토한 GRPO는 벤치마크 점수는 올랐지만 사람 평가에서 유창성이 떨어지는 경향이 있어 채택하지 않았습니다.