LLM 이메일 분류, 인식과 의사결정 분리
- •개발자가 대규모 언어 모델(LLM)을 최종 분류 대신 4가지 이메일 속성 점수 산출에 활용했다.
- •이메일 처리 로직을 LLM 프롬프트가 아닌 정적이고 테스트 가능한 TypeScript 정책 파일로 분리했다.
- •인식과 의사결정을 분리함으로써 모델의 일관성을 높이고 시스템의 감사 가능성을 개선했다.
익명의 개발자 yongrean은 이메일 분류 시스템에서 데이터 인식 과정과 의사결정 로직을 분리하는 방식을 채택했다. 시스템은 대규모 언어 모델(LLM)을 활용해 이메일을 직접 분류하는 대신, confidence(신뢰도), senderTrust(발신자 신뢰), reversibility(가역성), urgency(긴급성)라는 4가지 속성을 0.0에서 1.0 사이의 점수로 정량화한다. 모델은 고정된 JSON 형식으로 점수와 함께 짧은 이유를 출력하며, PUSH, QUEUE, SILENT와 같은 최종 동작은 직접 결정하지 않는다.
의사결정은 'tier-policy.ts'라는 정적 정책 파일이 담당한다. 이 파일은 하드코딩된 임계값을 기준으로 이메일 처리 단계를 결정한다. 예를 들어, confidence가 0.5 미만이면 QUEUE 단계로 분류되며, PUSH는 urgency와 confidence가 모두 0.7 이상일 때만 수행된다. SILENT 모드는 신뢰도가 낮고 긴급하지 않으며 가역적인 마케팅 이메일에 적용된다. 이러한 아키텍처는 코드 단위 테스트를 가능하게 하며, 특정 이메일이 왜 그렇게 처리되었는지 투명하게 추적할 수 있게 한다.
설계의 핵심은 '추론 능력이 뛰어난 모델'보다 '일관된 점수를 제공하는 모델'을 선택하는 것이다. 인식 작업에 집중할 경우 소형 모델도 충분한 성능을 발휘하며, 모델 사용이 제한될 경우 간단한 키워드 분석으로 대체 가능하다. 저자는 이 방식이 예측 가능한 시스템을 만들고 모델의 논리와 싸울 필요 없이 데이터 인식 측면만 개선할 수 있게 한다고 설명한다. 해당 로직은 klorn 저장소에 AGPL v3 라이선스로 공개되어 있으며, 핵심 의사결정 코드는 약 60줄의 TypeScript로 구현되었다.