Anthropic은 현지 시간 10월 7일 가장 가벼운 모델인 Claude Haiku 5.5를 공개했습니다. 비용과 속도를 중시하는 업무에 적합하다는 회사의 설명을 확인하기 위해 ITmedia는 일본어 업무 문서 3개 과제에서 Haiku 5.5를 Claude Sonnet 5.5, GPT-6 Luna와 비교했습니다. 평가는 10월 9일 기준이며, 성능은 향후 업데이트에 따라 달라질 수 있습니다.

과제는 납기 지연 사과 이메일 작성, 메모를 바탕으로 한 회의록 작성, 영어 이메일 요약·쟁점 정리·답장 작성이었습니다. 도구나 웹 검색 없이 프롬프트에 담긴 정보만 사용하게 했습니다. 각 모델에 추론량 ‘medium’과 ‘max’를 설정해 각각 3회 생성, 총 54개 답변을 만들었습니다. 모델명과 설정을 가린 뒤 Anthropic의 Claude Fable 5.1과 OpenAI의 GPT-6 Astra가 10점 만점으로 채점했으며, 평균 점수를 평가 지표로 삼았습니다. 9~10점은 그대로 사용할 수 있고, 7~8점은 제한적 수정, 5~6점은 중요한 수정이 필요하다는 기준입니다. 시간은 CLI 실행부터 종료까지 측정했고, 비용은 실제 토큰 수에 API 요금을 적용한 뒤 1달러=158엔으로 환산했습니다.

사과 이메일 과제에서 medium 설정의 GPT-6 Luna는 8.8점, Sonnet 5.5는 8.3점, Haiku 5.5는 8.0점을 받았습니다. Haiku는 3회 모두 요청된 글자 수를 지켰습니다. 답변 1건당 medium 비용은 Haiku 0.13엔, Sonnet 1.42엔, Luna 0.09엔이었습니다. Haiku max는 7.8점으로 낮아졌고 123.8초와 2.05엔이 들었습니다. medium보다 시간이 약 13배, 비용이 약 15배였습니다. Sonnet max는 9.5점이었지만 답변 1건에 271.3초와 61.70엔이 필요했습니다. Haiku는 medium에서 요청에 없던 답변 기한을 추가했고, max에서는 ‘예정’으로 제시된 10월 31일 납품을 일정표에 확정된 것처럼 적었습니다. Astra는 후자를 중대한 오류로 보고 6점을 줬습니다.

회의록 과제에서 Haiku medium은 7.2점으로 Sonnet과 동점이었습니다. Haiku는 11.6초·0.18엔, Sonnet은 16.4초·3.22엔이 들어 Haiku 비용이 약 18분의 1이었습니다. Luna는 medium에서 담당자를 잘못 읽어 5.50점을 받았고 max에서는 7.3점으로 올랐습니다. Haiku max도 7.3점이었지만 104.2초·1.90엔이 필요해 Luna max보다 시간이 약 5배, 비용이 약 8배였습니다.

영어 이메일 과제에서 Haiku medium은 6.3점이었고, 3회 중 2회 거래상 입장을 잘못 파악했습니다. max는 8.2점으로 올랐으며 3회 모두 오류가 없었지만, 답변 한 건에 254.1초·4.68엔이 들었습니다. Sonnet medium은 25.3초·4.69엔으로 9.0점을 받았습니다. Luna는 원문에 없는 정보를 3회 모두 기재했고 두 설정 모두 6점대였습니다. 소요 시간과 비용은 medium 7.9초·0.11엔, max 12.7초·0.18엔으로 두 설정 모두 가장 빠르고 저렴했습니다.

3개 과제 평균에서 Haiku max는 medium보다 생성 시간이 12.6배인 160.7초, 비용은 15.4배인 2.88엔이었습니다. Sonnet medium은 16.6초·3.11엔에 8.2점을 기록해 Haiku max보다 빠르고 점수도 높았다고 ITmedia는 밝혔습니다. Haiku medium은 Sonnet medium 비용의 약 17분의 1로 정형 문서에서 거의 같은 점수를 냈습니다. 이번 평가는 3개 과제에서 각각 3회씩 진행한 결과입니다.

제3자 평가 기관 Artificial Analysis의 ‘Intelligence Index’에서 Haiku 5.5 max는 43점을 기록했습니다. 이는 이전 세대 Claude Haiku 4.5보다 26점 높고 GPT-6 Luna의 38점을 웃돕니다. 한편 Artificial Analysis에 따르면 Haiku max는 작업당 약 16만 2,000토큰을 출력해 Luna max의 약 5만 토큰보다 약 3배 많았습니다. Anthropic API 요금은 프롬프트가 10만 토큰 이하일 때 100만 토큰당 입력 0.10달러, 출력 0.50달러입니다. Haiku 4.5 요금의 10분의 1이며 Luna와 같고, Sonnet 5.5의 입력 2달러·출력 10달러와 비교하면 20분의 1입니다. 10만 토큰을 넘으면 입력 0.50달러, 출력 2.50달러입니다. Anthropic은 Haiku 5.5를 요약, 문맥 압축, 하위 에이전트 등 범위가 좁은 작업에 적합하다고 설명했으며, 복잡한 에이전트형 코딩에는 Sonnet 5.5 또는 Claude Opus 5.5가 계속 적합하다고 밝혔습니다.

Anthropic은 현지 시간 10월 7일 가장 가벼운 모델인 Claude Haiku 5.5를 공개했습니다. 비용과 속도를 중시하는 업무에 적합하다는 회사의 설명을 확인하기 위해 ITmedia는 일본어 업무 문서 3개 과제에서 Haiku 5.5를 Claude Sonnet 5.5, GPT-6 Luna와 비교했습니다. 평가는 10월 9일 기준이며, 성능은 향후 업데이트에 따라 달라질 수 있습니다.

과제는 납기 지연 사과 이메일 작성, 메모를 바탕으로 한 회의록 작성, 영어 이메일 요약·쟁점 정리·답장 작성이었습니다. 도구나 웹 검색 없이 프롬프트에 담긴 정보만 사용하게 했습니다. 각 모델에 추론량 ‘medium’과 ‘max’를 설정해 각각 3회 생성, 총 54개 답변을 만들었습니다. 모델명과 설정을 가린 뒤 Anthropic의 Claude Fable 5.1과 OpenAI의 GPT-6 Astra가 10점 만점으로 채점했으며, 평균 점수를 평가 지표로 삼았습니다. 9~10점은 그대로 사용할 수 있고, 7~8점은 제한적 수정, 5~6점은 중요한 수정이 필요하다는 기준입니다. 시간은 CLI 실행부터 종료까지 측정했고, 비용은 실제 토큰 수에 API 요금을 적용한 뒤 1달러=158엔으로 환산했습니다.

사과 이메일 과제에서 medium 설정의 GPT-6 Luna는 8.8점, Sonnet 5.5는 8.3점, Haiku 5.5는 8.0점을 받았습니다. Haiku는 3회 모두 요청된 글자 수를 지켰습니다. 답변 1건당 medium 비용은 Haiku 0.13엔, Sonnet 1.42엔, Luna 0.09엔이었습니다. Haiku max는 7.8점으로 낮아졌고 123.8초와 2.05엔이 들었습니다. medium보다 시간이 약 13배, 비용이 약 15배였습니다. Sonnet max는 9.5점이었지만 답변 1건에 271.3초와 61.70엔이 필요했습니다. Haiku는 medium에서 요청에 없던 답변 기한을 추가했고, max에서는 ‘예정’으로 제시된 10월 31일 납품을 일정표에 확정된 것처럼 적었습니다. Astra는 후자를 중대한 오류로 보고 6점을 줬습니다.

회의록 과제에서 Haiku medium은 7.2점으로 Sonnet과 동점이었습니다. Haiku는 11.6초·0.18엔, Sonnet은 16.4초·3.22엔이 들어 Haiku 비용이 약 18분의 1이었습니다. Luna는 medium에서 담당자를 잘못 읽어 5.50점을 받았고 max에서는 7.3점으로 올랐습니다. Haiku max도 7.3점이었지만 104.2초·1.90엔이 필요해 Luna max보다 시간이 약 5배, 비용이 약 8배였습니다.

영어 이메일 과제에서 Haiku medium은 6.3점이었고, 3회 중 2회 거래상 입장을 잘못 파악했습니다. max는 8.2점으로 올랐으며 3회 모두 오류가 없었지만, 답변 한 건에 254.1초·4.68엔이 들었습니다. Sonnet medium은 25.3초·4.69엔으로 9.0점을 받았습니다. Luna는 원문에 없는 정보를 3회 모두 기재했고 두 설정 모두 6점대였습니다. 소요 시간과 비용은 medium 7.9초·0.11엔, max 12.7초·0.18엔으로 두 설정 모두 가장 빠르고 저렴했습니다.

3개 과제 평균에서 Haiku max는 medium보다 생성 시간이 12.6배인 160.7초, 비용은 15.4배인 2.88엔이었습니다. Sonnet medium은 16.6초·3.11엔에 8.2점을 기록해 Haiku max보다 빠르고 점수도 높았다고 ITmedia는 밝혔습니다. Haiku medium은 Sonnet medium 비용의 약 17분의 1로 정형 문서에서 거의 같은 점수를 냈습니다. 이번 평가는 3개 과제에서 각각 3회씩 진행한 결과입니다.

제3자 평가 기관 Artificial Analysis의 ‘Intelligence Index’에서 Haiku 5.5 max는 43점을 기록했습니다. 이는 이전 세대 Claude Haiku 4.5보다 26점 높고 GPT-6 Luna의 38점을 웃돕니다. 한편 Artificial Analysis에 따르면 Haiku max는 작업당 약 16만 2,000토큰을 출력해 Luna max의 약 5만 토큰보다 약 3배 많았습니다. Anthropic API 요금은 프롬프트가 10만 토큰 이하일 때 100만 토큰당 입력 0.10달러, 출력 0.50달러입니다. Haiku 4.5 요금의 10분의 1이며 Luna와 같고, Sonnet 5.5의 입력 2달러·출력 10달러와 비교하면 20분의 1입니다. 10만 토큰을 넘으면 입력 0.50달러, 출력 2.50달러입니다. Anthropic은 Haiku 5.5를 요약, 문맥 압축, 하위 에이전트 등 범위가 좁은 작업에 적합하다고 설명했으며, 복잡한 에이전트형 코딩에는 Sonnet 5.5 또는 Claude Opus 5.5가 계속 적합하다고 밝혔습니다.