ホールドアウト・ベンチマーク

ホールドアウト・ベンチマークとは

開発や調整に使わず、性能評価のために分けておくテスト用ベンチマーク

他の言語での表記と説明

한국어홀드아웃 벤치마크

개발이나 학습에 사용하지 않고 최종 평가를 위해 따로 남겨 둔 테스트 기준

EnglishHeld-out benchmark

Evaluation set kept separate from development to test performance on unseen examples

関連用語

• ホールドアウトセット学習や調整には使わずに取っておき、モデルの最終的な性能を公平に評価するために使うデータ群。
• 分布外ベンチマーク訓練時に見たデータとは異なる条件で、モデルの性能を測る評価基準です。
• 独立データ外部検証開発時とは異なるデータセットや環境で、モデルや手法の性能を確認する評価手順
• ゼロショット手法モデルを特定タスク向けに追加訓練せず、指示や入力だけで性能を測る方法
• ベンチマーク汚染評価用データがモデルの事前学習データセットに含まれてしまい、モデルが解答を暗記することで本来の性能よりも高く評価されてしまう現象。
• チャレンジャーテスティング本番環境で運用中のモデルと、旧バージョンや代替モデルを同じデータで並行して動作させ、出力の乖離や性能劣化を検証するテスト手法。
• バリデーションゲート新しいパラメータや学習結果が妥当かどうかを判断するために、特定のテストデータを用いて通過可否を判定する仕組み
• フューショットプロンプティングモデルに少数の具体例を提示することで、追加の学習をさせずに特定のタスクの実行能力を向上させる手法。