Anthropicは10月7日（現地時間）、同社で最軽量のモデル「Claude Haiku 5.5」を公開しました。コストと速度を重視する業務に適するとする同社の説明を確かめるため、ITmediaは日本語のビジネス文書3種類でHaiku 5.5を「Claude Sonnet 5.5」と「GPT-6 Luna」と比較しました。検証は10月9日時点のもので、性能は今後のアップデートで変わる可能性があります。

課題は、納期遅延のお詫びメール、走り書きメモからの議事録作成、英文メールの要約・論点整理・返信の3つです。ツールやWeb検索は使わず、プロンプト内の情報だけで回答させました。各モデルに思考量「medium」と「max」を設定し、それぞれ3回生成して計54回答を作成。モデル名と設定を伏せてAnthropicの「Claude Fable 5.1」とOpenAIの「GPT-6 Astra」に10点満点で採点させ、平均点を評価指標にしました。9〜10点はそのまま使え、7〜8点は限定的な修正、5〜6点は重要な修正が必要という目安です。時間はCLIの起動から終了まで、費用は実トークン量にAPI料金を掛け、1ドル＝158円で換算しました。

お詫びメールでは、mediumのGPT-6 Lunaが8.8点、Sonnet 5.5が8.3点、Haiku 5.5が8.0点でした。Haikuは3回とも指定字数を守りました。mediumの費用はHaikuが1回答0.13円、Sonnetが1.42円、Lunaが0.09円です。maxのHaikuは7.8点に下がり、123.8秒・2.05円を要しました。mediumの約13倍の時間、約15倍の費用です。Sonnetのmaxは9.5点でしたが、1回答に271.3秒・61.70円かかりました。Haikuはmediumで依頼にない返信期限を追加し、maxでは「見込み」とされた10月31日の納品を日程一覧で確定のように記載しました。Astraは後者を重要な誤りとして6点と評価しました。

議事録作成では、Haikuのmediumは7.2点でSonnetと同点でした。Haikuは11.6秒・0.18円、Sonnetは16.4秒・3.22円で、Haikuの費用は約18分の1でした。Lunaはmediumで担当者を読み違えて5.50点、maxでは7.3点に上がりました。Haikuのmaxも7.3点でしたが、104.2秒・1.90円を要し、Lunaのmaxより時間は約5倍、費用は約8倍でした。

英文メールの課題では、Haikuのmediumは6.3点で、3回中2回、取引上の立場を取り違えました。maxでは8.2点となり、誤りは3回ともなくなりましたが、1回答に254.1秒・4.68円かかりました。Sonnetのmediumは25.3秒・4.69円で9.0点でした。Lunaはmediumで原文にない情報を3回とも記載し、両設定とも6点台でした。時間と費用はmediumが7.9秒・0.11円、maxが12.7秒・0.18円で、両設定とも最速・最安でした。

3課題の平均では、Haikuをmaxにするとmediumに比べ、生成時間は12.6倍の160.7秒、費用は15.4倍の2.88円になりました。Sonnetのmediumは16.6秒・3.11円で8.2点となり、記事はHaikuのmaxより速く、点数も高いとしています。HaikuのmediumはSonnetのmediumの約17分の1の費用で、定型文書ではほぼ同等の点数でした。検証は3課題・各3回に限られます。

第三者評価のArtificial Analysis「Intelligence Index」では、Haiku 5.5のmaxは43ポイントで、前世代の「Claude Haiku 4.5」から26ポイント上昇し、GPT-6 Lunaの38ポイントを上回りました。一方、同社によるとHaikuのmaxは1タスク当たり約16万2000トークンを出力し、Lunaのmaxの約5万トークンの約3倍でした。AnthropicのAPI価格は、プロンプトが10万トークン以下の場合、100万トークン当たり入力0.10ドル、出力0.50ドルです。Haiku 4.5の10分の1で、Lunaと同額、Sonnet 5.5の入力2ドル・出力10ドルに対して20分の1です。10万トークンを超える場合は入力0.50ドル、出力2.50ドルです。AnthropicはHaiku 5.5を要約、文脈の圧縮、サブエージェントなど範囲の狭いタスク向けとし、複雑なエージェント型コーディングにはSonnet 5.5または「Claude Opus 5.5」が引き続き適するとしています。

Anthropicは10月7日（現地時間）、同社で最軽量のモデル「Claude Haiku 5.5」を公開しました。コストと速度を重視する業務に適するとする同社の説明を確かめるため、ITmediaは日本語のビジネス文書3種類でHaiku 5.5を「Claude Sonnet 5.5」と「GPT-6 Luna」と比較しました。検証は10月9日時点のもので、性能は今後のアップデートで変わる可能性があります。

課題は、納期遅延のお詫びメール、走り書きメモからの議事録作成、英文メールの要約・論点整理・返信の3つです。ツールやWeb検索は使わず、プロンプト内の情報だけで回答させました。各モデルに思考量「medium」と「max」を設定し、それぞれ3回生成して計54回答を作成。モデル名と設定を伏せてAnthropicの「Claude Fable 5.1」とOpenAIの「GPT-6 Astra」に10点満点で採点させ、平均点を評価指標にしました。9〜10点はそのまま使え、7〜8点は限定的な修正、5〜6点は重要な修正が必要という目安です。時間はCLIの起動から終了まで、費用は実トークン量にAPI料金を掛け、1ドル＝158円で換算しました。

お詫びメールでは、mediumのGPT-6 Lunaが8.8点、Sonnet 5.5が8.3点、Haiku 5.5が8.0点でした。Haikuは3回とも指定字数を守りました。mediumの費用はHaikuが1回答0.13円、Sonnetが1.42円、Lunaが0.09円です。maxのHaikuは7.8点に下がり、123.8秒・2.05円を要しました。mediumの約13倍の時間、約15倍の費用です。Sonnetのmaxは9.5点でしたが、1回答に271.3秒・61.70円かかりました。Haikuはmediumで依頼にない返信期限を追加し、maxでは「見込み」とされた10月31日の納品を日程一覧で確定のように記載しました。Astraは後者を重要な誤りとして6点と評価しました。

議事録作成では、Haikuのmediumは7.2点でSonnetと同点でした。Haikuは11.6秒・0.18円、Sonnetは16.4秒・3.22円で、Haikuの費用は約18分の1でした。Lunaはmediumで担当者を読み違えて5.50点、maxでは7.3点に上がりました。Haikuのmaxも7.3点でしたが、104.2秒・1.90円を要し、Lunaのmaxより時間は約5倍、費用は約8倍でした。

英文メールの課題では、Haikuのmediumは6.3点で、3回中2回、取引上の立場を取り違えました。maxでは8.2点となり、誤りは3回ともなくなりましたが、1回答に254.1秒・4.68円かかりました。Sonnetのmediumは25.3秒・4.69円で9.0点でした。Lunaはmediumで原文にない情報を3回とも記載し、両設定とも6点台でした。時間と費用はmediumが7.9秒・0.11円、maxが12.7秒・0.18円で、両設定とも最速・最安でした。

3課題の平均では、Haikuをmaxにするとmediumに比べ、生成時間は12.6倍の160.7秒、費用は15.4倍の2.88円になりました。Sonnetのmediumは16.6秒・3.11円で8.2点となり、記事はHaikuのmaxより速く、点数も高いとしています。HaikuのmediumはSonnetのmediumの約17分の1の費用で、定型文書ではほぼ同等の点数でした。検証は3課題・各3回に限られます。

第三者評価のArtificial Analysis「Intelligence Index」では、Haiku 5.5のmaxは43ポイントで、前世代の「Claude Haiku 4.5」から26ポイント上昇し、GPT-6 Lunaの38ポイントを上回りました。一方、同社によるとHaikuのmaxは1タスク当たり約16万2000トークンを出力し、Lunaのmaxの約5万トークンの約3倍でした。AnthropicのAPI価格は、プロンプトが10万トークン以下の場合、100万トークン当たり入力0.10ドル、出力0.50ドルです。Haiku 4.5の10分の1で、Lunaと同額、Sonnet 5.5の入力2ドル・出力10ドルに対して20分の1です。10万トークンを超える場合は入力0.50ドル、出力2.50ドルです。AnthropicはHaiku 5.5を要約、文脈の圧縮、サブエージェントなど範囲の狭いタスク向けとし、複雑なエージェント型コーディングにはSonnet 5.5または「Claude Opus 5.5」が引き続き適するとしています。