AWSはAugust 14, 2026、Amazon Nova Forgeでマルチターン強化学習のカスタム報酬関数を設計する方法を説明するガイドを公開した。ガイドによると、報酬関数はAmazon Novaモデルが何を学ぶかを決めるもので、訓練曲線が健全に見えても、わずかに誤った報酬が望ましくない行動を教える場合がある。マルチターン訓練では、Nova ForgeがBring Your Own Orchestration（BYOO、利用者側で実行環境を管理する方式）を通じて、顧客管理環境内で報酬ロジックを実行できる。環境管理を望まないチーム向けには、サーバーレスのマルチターンRLオプションが現在、一般提供されている。

Amazon Nova Forgeはreinforcement fine-tuning（RFT）をサポートする。これは注釈付きの推論過程を持つ curated examples ではなく、モデル自身の出力に対する評価信号から学ぶ手法だ。マルチターンRFTは、ツール呼び出し、コード実行、失敗からの回復など、複数ステップにわたって行動するエージェントにこの過程を広げ、全軌跡にわたる累積報酬を最適化する。ガイドは、Nova ForgeがGroup Relative Policy Optimization（GRPO）を使うと説明する。GRPOは各会話についてK個のロールアウトを順位付けし、正規化報酬、別名advantageを使ってモデルを更新する。

ガイドは、シングルターンとマルチターンの報酬実行を区別している。シングルターンRFTではreward_lambda_arnを通じて報酬をAWS Lambda関数として登録できるが、マルチターン会話や長時間の採点はLambdaの15-minute invocation limitを超えることがある。BYOO経路では、開発者がrollout.delegate: trueを設定し、たとえばAmazon ECS上のコンテナで報酬環境を動かす。コンテナは会話状態、ユーザーシミュレーション、コード実行、検証を管理し、aggregate_reward_scoreと任意のコンポーネントスコアをmetrics_list経由で返す。

AWSは、単一のスカラー報酬は攻略されやすく、終了時だけの報酬は訓練初期には疎すぎる場合があるとして、結果報酬、行動報酬、ペナルティを組み合わせたマルチターン報酬を推奨している。実例では、Amazon Nova Lite 2.0を500件の固有プログラミングタスクで訓練し、GRPO、Low-Rank Adaptation（LoRA）、Amazon SageMaker HyperPod、顧客管理のBYOOコンテナを使った。タスクはモデルに仕様不足のコーディング依頼を与え、ユーザーシミュレーターは完全な仕様を非公開で保持し、モデルが質問した場合だけ詳細を明かす。

例の報酬は4つの重み付き要素で構成される。correctnessは1.0で、隠し単体テストの通過割合として測定される。asked_before_codingは0.6で、モデルがturn 1で質問してから実装すれば1.0、後のターンで質問してから実装すれば0.6、それ以外は0となる。guessed_immediatelyは0.4で、最初のターンが質問なしのコードなら-1.0を適用する。loop_penaltyは0.2で、最後の2ターンが80%超似ている場合に-0.5を適用する。AWSは、望ましい行動は直接報酬化し、失敗モードは明示的に罰するべきだとしている。そうすればGRPOがグループ内の報酬差を観測できるからだ。

ガイドは、RL下でモデルが生成したコードを未検証として扱う必要があると警告する。認証情報やネットワークアクセスを公開しないこと、リソース制限を適用すること、一時ディレクトリでコードを実行すること、モデルが期待されるstderrマーカーを偽造できないよう実行ごとにランダムなsentinelを使うこと、より強い隔離が必要な場合は専用サンドボックスを呼び出すことを推奨している。ハーネスは実際に実行されたテスト数を期待値と照合すべきだとも述べる。モデルが簡単に通るテストでスコアを薄めるのを防ぐためである。

AWSは、報酬崩壊をグループ内の変動が消えて学習が静かに止まる失敗モードと説明する。この状態でも、aggregate reward、loss、completion-lengthの曲線は健全に見えることがある。以前の版では、質問ボーナスが正答を条件にしており、効率項が短い会話を報酬化していた。難しいタスクでは正答率がほぼゼロで、質問ボーナスはめったに発火せず、少ないターン数が最善戦略となり、モデルはturn oneで推測する方向に収束した。mean rewardは固定され、GRPO advantageはゼロになった。

2つ目の崩壊は、ハーネスがモデル出力を実行しなかったため、正答スコアラーがすべてのロールアウトに同じ値を返したことから起きた。この問題は、エントリーポイント名の不一致、インポート失敗、セットアップエラーなどで発生し得る。AWSは、モデルの明確化質問率が約34〜96%に上昇した一方、スコアラーが一定だったためコード正答率はほとんど動かなかったと述べた。ガイドは、各報酬要素についてグループ内標準偏差とGRへの寄与を追跡するよう推奨している。

AWSはAugust 14, 2026、Amazon Nova Forgeでマルチターン強化学習のカスタム報酬関数を設計する方法を説明するガイドを公開した。ガイドによると、報酬関数はAmazon Novaモデルが何を学ぶかを決めるもので、訓練曲線が健全に見えても、わずかに誤った報酬が望ましくない行動を教える場合がある。マルチターン訓練では、Nova ForgeがBring Your Own Orchestration（BYOO、利用者側で実行環境を管理する方式）を通じて、顧客管理環境内で報酬ロジックを実行できる。環境管理を望まないチーム向けには、サーバーレスのマルチターンRLオプションが現在、一般提供されている。

Amazon Nova Forgeはreinforcement fine-tuning（RFT）をサポートする。これは注釈付きの推論過程を持つ curated examples ではなく、モデル自身の出力に対する評価信号から学ぶ手法だ。マルチターンRFTは、ツール呼び出し、コード実行、失敗からの回復など、複数ステップにわたって行動するエージェントにこの過程を広げ、全軌跡にわたる累積報酬を最適化する。ガイドは、Nova ForgeがGroup Relative Policy Optimization（GRPO）を使うと説明する。GRPOは各会話についてK個のロールアウトを順位付けし、正規化報酬、別名advantageを使ってモデルを更新する。

ガイドは、シングルターンとマルチターンの報酬実行を区別している。シングルターンRFTではreward_lambda_arnを通じて報酬をAWS Lambda関数として登録できるが、マルチターン会話や長時間の採点はLambdaの15-minute invocation limitを超えることがある。BYOO経路では、開発者がrollout.delegate: trueを設定し、たとえばAmazon ECS上のコンテナで報酬環境を動かす。コンテナは会話状態、ユーザーシミュレーション、コード実行、検証を管理し、aggregate_reward_scoreと任意のコンポーネントスコアをmetrics_list経由で返す。

AWSは、単一のスカラー報酬は攻略されやすく、終了時だけの報酬は訓練初期には疎すぎる場合があるとして、結果報酬、行動報酬、ペナルティを組み合わせたマルチターン報酬を推奨している。実例では、Amazon Nova Lite 2.0を500件の固有プログラミングタスクで訓練し、GRPO、Low-Rank Adaptation（LoRA）、Amazon SageMaker HyperPod、顧客管理のBYOOコンテナを使った。タスクはモデルに仕様不足のコーディング依頼を与え、ユーザーシミュレーターは完全な仕様を非公開で保持し、モデルが質問した場合だけ詳細を明かす。

例の報酬は4つの重み付き要素で構成される。correctnessは1.0で、隠し単体テストの通過割合として測定される。asked_before_codingは0.6で、モデルがturn 1で質問してから実装すれば1.0、後のターンで質問してから実装すれば0.6、それ以外は0となる。guessed_immediatelyは0.4で、最初のターンが質問なしのコードなら-1.0を適用する。loop_penaltyは0.2で、最後の2ターンが80%超似ている場合に-0.5を適用する。AWSは、望ましい行動は直接報酬化し、失敗モードは明示的に罰するべきだとしている。そうすればGRPOがグループ内の報酬差を観測できるからだ。

ガイドは、RL下でモデルが生成したコードを未検証として扱う必要があると警告する。認証情報やネットワークアクセスを公開しないこと、リソース制限を適用すること、一時ディレクトリでコードを実行すること、モデルが期待されるstderrマーカーを偽造できないよう実行ごとにランダムなsentinelを使うこと、より強い隔離が必要な場合は専用サンドボックスを呼び出すことを推奨している。ハーネスは実際に実行されたテスト数を期待値と照合すべきだとも述べる。モデルが簡単に通るテストでスコアを薄めるのを防ぐためである。

AWSは、報酬崩壊をグループ内の変動が消えて学習が静かに止まる失敗モードと説明する。この状態でも、aggregate reward、loss、completion-lengthの曲線は健全に見えることがある。以前の版では、質問ボーナスが正答を条件にしており、効率項が短い会話を報酬化していた。難しいタスクでは正答率がほぼゼロで、質問ボーナスはめったに発火せず、少ないターン数が最善戦略となり、モデルはturn oneで推測する方向に収束した。mean rewardは固定され、GRPO advantageはゼロになった。

2つ目の崩壊は、ハーネスがモデル出力を実行しなかったため、正答スコアラーがすべてのロールアウトに同じ値を返したことから起きた。この問題は、エントリーポイント名の不一致、インポート失敗、セットアップエラーなどで発生し得る。AWSは、モデルの明確化質問率が約34〜96%に上昇した一方、スコアラーが一定だったためコード正答率はほとんど動かなかったと述べた。ガイドは、各報酬要素についてグループ内標準偏差とGRへの寄与を追跡するよう推奨している。