セイエド・アリ・アルカメル(Sayed Ali Alkamel)は、AIエージェントのSKILL.mdファイルを解析・評価するオープンソースのCLIツール「skillscore」を公開した。このツールはAnthropic、OpenAI、Google、Flutterなどの公式ガイドラインと照らし合わせ、0から100の品質スコア、グレード、および改善点の一覧を出力する。

AIエージェントのスキルは通常、YAML形式のフロントマターとMarkdown形式の指示書で構成される。これらの記述はエージェントのコンテキストウィンドウに読み込まれるため、品質が低いとトークン効率の低下や誤動作を招く恐れがある。本ツールは、フロントマターの妥当性、説明の質、簡潔さ、指示の構造など7つのカテゴリでルールを強制し、この課題に対処する。

本ツールは完全にオフラインかつ決定論的に動作する。CI/CD統合を前提としており、例えば「--min-score 80」のようにデプロイの閾値を設定可能だ。また、JSONおよびSARIF 2.1.0（静的解析結果を報告するための標準形式）での出力に対応しており、GitHubのプルリクエスト上で問題箇所を直接注釈として表示できる。

評価ルールは7つのカテゴリに重み付けされており、例えばスクリプトにドキュメントが不足している場合は安全性のカテゴリで最大15ポイント減点される。Flutterチームの公開スキルをテストした際には、90/100というスコアとともに、境界条件の欠如やアンチパターンの指摘がなされた。ユーザーは指摘理由や根拠となるガイドラインの説明を求めることも可能だ。

現在プロジェクトはv0.1.0であり、Dart言語で記述されている。スタンドアロンのCLIツールとしてだけでなく、他のアプリケーションに評価ロジックを組み込むライブラリとしても機能する。今後のアップデートでは、ベンダー固有のターゲット追加、単純な機械的エラーの自動修正機能、GitHub Actionの実装が予定されている。

セイエド・アリ・アルカメル(Sayed Ali Alkamel)は、AIエージェントのSKILL.mdファイルを解析・評価するオープンソースのCLIツール「skillscore」を公開した。このツールはAnthropic、OpenAI、Google、Flutterなどの公式ガイドラインと照らし合わせ、0から100の品質スコア、グレード、および改善点の一覧を出力する。

AIエージェントのスキルは通常、YAML形式のフロントマターとMarkdown形式の指示書で構成される。これらの記述はエージェントのコンテキストウィンドウに読み込まれるため、品質が低いとトークン効率の低下や誤動作を招く恐れがある。本ツールは、フロントマターの妥当性、説明の質、簡潔さ、指示の構造など7つのカテゴリでルールを強制し、この課題に対処する。

本ツールは完全にオフラインかつ決定論的に動作する。CI/CD統合を前提としており、例えば「--min-score 80」のようにデプロイの閾値を設定可能だ。また、JSONおよびSARIF 2.1.0（静的解析結果を報告するための標準形式）での出力に対応しており、GitHubのプルリクエスト上で問題箇所を直接注釈として表示できる。

評価ルールは7つのカテゴリに重み付けされており、例えばスクリプトにドキュメントが不足している場合は安全性のカテゴリで最大15ポイント減点される。Flutterチームの公開スキルをテストした際には、90/100というスコアとともに、境界条件の欠如やアンチパターンの指摘がなされた。ユーザーは指摘理由や根拠となるガイドラインの説明を求めることも可能だ。

現在プロジェクトはv0.1.0であり、Dart言語で記述されている。スタンドアロンのCLIツールとしてだけでなく、他のアプリケーションに評価ロジックを組み込むライブラリとしても機能する。今後のアップデートでは、ベンダー固有のターゲット追加、単純な機械的エラーの自動修正機能、GitHub Actionの実装が予定されている。