AA-Briefcase

AA-Briefcaseとは

複数の関連タスクと資料を使い、知識労働でのモデル性能を測る評価手法

他の言語での表記と説明

한국어AA-Briefcase

지식 업무 프로젝트에서 모델의 과제 수행, 분석 품질, 발표 품질을 평가하는 벤치마크

EnglishAA-Briefcase

Benchmark for evaluating AI agents on complex knowledge work projects with linked tasks and source files

関連用語

• CursorBenchAIコーディング支援ツールやモデルの性能を測るためのベンチマーク
• 𝜏³-Banking銀行業務を題材にしたAIエージェント評価ベンチマークの名称
• AppWorld現実世界のアプリケーション操作を含むタスクを通じて、AIエージェントの推論と実行能力を評価するために設計されたテスト環境。
• ARC-AGI限られた例から抽象的な規則を推論し、視覚パズルを解く能力を測る評価ベンチマーク
• AI研究環境AIを使った作業や実験を行うための統合環境です。