Exowatt 맞춤형 모델, 각 운영 벤치마크서 선두 모델 능가

AWS ML Blog2026년 10월 28일 (수)
Exowatt 맞춤형 모델, 각 운영 벤치마크서 선두 모델 능가
  • •Exowatt, SageMaker로 맞춤화한 Qwen3 모델 2종이 각기 다른 운영 과제에서 선두 모델을 앞섰다고 발표
  • •Qwen3-1.7B, 현장 CPU에서 오프라인 실행되며 엣지 경보 분류에서 macro-F1 0.911 기록
  • •Qwen3-14B, macro-F1 0.975 달성…답변 1,000건당 비용은 0.60달러로 Claude Opus 4.7의 29.26달러보다 낮아

Exowatt는 Amazon SageMaker AI의 서버리스 모델 맞춤화 기능으로 엣지 경보 분류와 클라우드 에너지 시장 분석용 모델을 미세 조정하는 반복 가능한 파이프라인을 구축했다고 밝혔습니다. 회사에 따르면 Qwen3-1.7B와 Qwen3-14B는 각 과제에서 더 큰 선두 모델을 앞섰으며, Qwen3-14B의 답변 1,000건당 비용은 Claude Opus 4.7보다 약 49배 낮습니다. Exowatt는 맞춤형 모델을 실험 단계에서 실제 운영으로 옮기는 데 9일이 걸렸다고 밝혔습니다.

Exowatt는 광학 렌즈로 에너지를 모아 열 배터리에 저장한 뒤, 열기관으로 필요할 때 전기를 생산하는 모듈형 태양광 시스템을 만듭니다. P3 시스템은 전력망 계통 연결 대기열에서 수년을 기다리지 않고 데이터센터에 직접 전력을 공급합니다. 회사는 인터넷 연결이 제한되거나 없는 태양광 발전소를 포함해 현장 경보를 감시하고 의사결정을 지원하는 AI 에이전트도 운영합니다. 현장 장비가 수천 대로 늘어나는 상황에 맞춰 운영 소프트웨어도 확장해야 한다고 Exowatt는 설명했습니다.

경보 분류를 위해 Exowatt는 Qwen3-1.7B를 미세 조정해 현장 경보와 원격 측정 데이터를 읽고, 근거를 제시하며 분류하거나 증거가 부족하면 판단을 보류하도록 했습니다. 프롬프트를 적용한 Qwen3-8B 모델은 macro-F1 0.735를 기록했으며, 데이터세트 버전 12개에서 만든 미세 조정 Qwen3-8B 후보 13종도 이 기준을 넘지 못했습니다. 반면 더 작은 Qwen3-1.7B는 시험 사례 320건에서 macro-F1 0.911을 기록해 시험한 선두 모델들을 앞섰습니다. 학습 데이터는 생성한 현장 상황에서 검증한 의사결정 684건과 인증된 바꿔쓰기 문장 1,838건 등 총 2,522건으로 구성됐습니다. Qwen3-235B가 약 3.72달러에 바꿔쓰기 문장을 만들었고, 규칙 기반 검사로 의사결정과 라벨, 근거 인용, 숫자가 바뀌지 않았는지 확인했습니다. 학습에는 약 32분이 들었고 비용은 약 20~25달러였습니다. 8비트 양자화로 용량을 약 1.71GiB로 줄인 모델은 기존 CPU 서버의 6GiB llama.cpp 파드에서 오프라인으로 실행되며, 추론당 비용은 없습니다.

에너지 시장 분석에서 Qwen3-14B는 가격·예측·전력망 공지 약 90행으로 이뤄진 6시간치 시장 데이터를 처리해 시장 이벤트 5종 중 하나를 약 4초 만에 분류합니다. Exowatt는 ERCOT의 5년치 데이터에서 라벨이 붙은 사례 25,000건을 추렸습니다. 이 데이터는 12개 테이블의 약 1억 6,300만 행으로 이뤄졌으며, Claude Sonnet 4.6의 바꿔쓰기 문장을 더해 학습 데이터를 86,281행으로 늘렸습니다. LoRA 학습 1회에는 약 8.5시간이 걸렸습니다. 6일 동안 팀은 관리형 학습 작업 23건을 실행해 총 약 155시간을 사용했고, 최대 4건을 동시에 돌렸습니다.

별도로 보류한 시험 사례 2,000건에서 미세 조정한 Qwen3-14B는 macro-F1 0.975, 이벤트 정확도 0.983, 유효한 JSON 비율 1.000을 기록했습니다. Claude Opus 4.7은 같은 항목에서 각각 0.625, 0.718, 0.9995였습니다. Qwen3-14B의 macro-F1은 0.35 높았으며 95% 신뢰구간은 0.324~0.371이었습니다. 이후 별도 시험 데이터에서도 0.968을 기록했습니다. 답변 1,000건당 비용은 0.60달러로 Claude Opus 4.7의 29.26달러보다 낮습니다. Amazon Bedrock은 가져온 모델이 활성 상태일 때만 시간당 6.86달러를 청구합니다. 두 맞춤형 모델은 입력 행에 연결된 주장을 담은 엄격한 JSON을 반환하며, 근거가 없는 주장은 운영자에게 전달되기 전에 제거됩니다. 이 파이프라인은 AWS 서비스 7개를 사용하며 Exowatt가 인스턴스, 클러스터, 엔드포인트를 관리할 필요가 없습니다.

카톡