hexisteme notesの著者ジョン(John)はAugust 2, 2026、単一マシン上のコーディングエージェント群で、サブエージェントの指標はメインの対話スレッドの指標と直接比較できないと報告した。ログ基盤は、匿名化された7つのモデル版と5つの行動指標について数千件のスレッドを集めていたが、役割×モデルのクロス集計では、役割によって一部の数値が最大135x変わり、各モデルでメインスレッド行とサブエージェント行の混合比も異なっていた。

この群では同じモデル重みに2つの役割があった。操作者が進める長い対話型メインスレッドと、メインスレッドから起動され使い捨てられる短い単発サブエージェントである。スレッドあたり出力トークン中央値は役割で大きく異なり、モデルAはメイン200行で478,238、サブエージェント2,761行で6,212、つまり77xだった。モデルCは427,838対8,784で49x、モデルDは185,534対1,371で135x、モデルGは128,415対11,358で11x。モデルBは16,432対14,157で1.2xにとどまり、モデルFは4,194対51,562で0.08xと方向が反転した。

行動指標も役割をまたぐと意味が変わった。同一ファイルの再編集率は、メインスレッドでは4モデルの中央値が0.40 / 0.44 / 0.50 / 0.53だった一方、サブエージェントでは7モデル中6モデルが正確に0だった。エラー復旧シーケンスは、メインスレッドでは4モデルの中央値が1 / 2 / 2 / 2だったが、サブエージェントでは7モデル中6モデルが正確に0。検証実行は、メインスレッドの7モデル中6モデルで中央値0、サブエージェントの7モデルすべてで0だった。著者は、サブエージェント行には再編集率と復旧回数についてモデル間シグナルがなく、行数では7%にすぎないメインスレッド行に可能なシグナルが残っていたと述べた。

役割の混合比もモデルごとに異なった。帰属済みコーパス全体では4,890行中4,533行、92.7%がサブエージェント行だったが、メイン比率はモデルEとBの1.5%からモデルFの71.4%まで幅があった。クロス集計では、Eがメイン2行・サブエージェント132行、Bが20・1,338、Aが200・2,761、Dが11・122、Cが88・156、Gが21・18、Fが15・6とされた。著者はこの偏りを委任ポリシーに帰し、安価な階層に送られた機械的なファンアウト作業も含まれるとした。モデルAはAのサブエージェントを1,788、Bのサブエージェントを730起動し、モデルCはBのサブエージェントを393起動していた。

モデルAとCを役割横断で統合すると、誤解を招く比較になった。統合計算ではAが(200 × 684,639 + 2,761 × 13,691) / 2,961 = 59,010、Cが(88 × 565,678 + 156 × 13,913) / 244 = 212,910となり、CがAの3.6xの出力トークンを消費するように見えた。役割ごとの層内では、メインスレッドでCは565,678対684,639、つまり0.83xでAより低く、サブエージェント実行では13,913対13,691、つまり1.02xでほぼ同じだった。著者はこの差を、教科書的なシンプソンのパラドックス（統合傾向が群別傾向と異なる現象）ではなく、異なる重みによる混合効果だと呼んだ。統合された3.6xは、役割内の意味ある効果ではなく重みの違いから出ていたためだ。

著者は、役割で層化することは最初の一歩にすぎず、指標が各層で異なる構成概念を測っている場合があると述べた。あるモデルでは、ハーネスのログ規約により99スレッド中92スレッドがツール結果行で終わっていたため、完了の代理指標がサブエージェントスレッドで破綻した。単位も変わり得る。モデルAにはメイン帰属行が200あったが、完了代理指標に使えるメインスレッドは154だった。著者のチェックリストには、まず層×処置のクロス集計を出すこと、表示はn ≥ 5、区間推定は両側n ≥ 20という閾値を事前設定すること、層をまたぐ比較を禁じること、層ごとに構成概念妥当性を検証すること、説明不能な幅ゼロ区間を退けること、統合結果と層化結果が食い違う場合は両方を公開することが入っている。

[0, 0]の信頼区間は精度ではなく同順位データを示す場合がある、という警告も示された。メインスレッドの検証実行回数では、全モデルの中央値が0だった一方、平均はA 4.11、C 2.38、G 1.67、B 0.60だった。全6組のモデルペアに対するパーセンタイル・ブートストラップでは、平均に約7xの開きがあっても、中央値差は0、95%区間は[0, 0]になった。著者は、ルーティングがランダム化されておらず、タスク難度、プロジェクト、週と絡み合っていたため、証拠は非因果的なままだと述べた。モデルAのメインスレッド再編集中央値も、4つのプロジェクトで0.34 / 0.45 / 0.53 / 0.70と変動していた。

hexisteme notesの著者ジョン(John)はAugust 2, 2026、単一マシン上のコーディングエージェント群で、サブエージェントの指標はメインの対話スレッドの指標と直接比較できないと報告した。ログ基盤は、匿名化された7つのモデル版と5つの行動指標について数千件のスレッドを集めていたが、役割×モデルのクロス集計では、役割によって一部の数値が最大135x変わり、各モデルでメインスレッド行とサブエージェント行の混合比も異なっていた。

この群では同じモデル重みに2つの役割があった。操作者が進める長い対話型メインスレッドと、メインスレッドから起動され使い捨てられる短い単発サブエージェントである。スレッドあたり出力トークン中央値は役割で大きく異なり、モデルAはメイン200行で478,238、サブエージェント2,761行で6,212、つまり77xだった。モデルCは427,838対8,784で49x、モデルDは185,534対1,371で135x、モデルGは128,415対11,358で11x。モデルBは16,432対14,157で1.2xにとどまり、モデルFは4,194対51,562で0.08xと方向が反転した。

行動指標も役割をまたぐと意味が変わった。同一ファイルの再編集率は、メインスレッドでは4モデルの中央値が0.40 / 0.44 / 0.50 / 0.53だった一方、サブエージェントでは7モデル中6モデルが正確に0だった。エラー復旧シーケンスは、メインスレッドでは4モデルの中央値が1 / 2 / 2 / 2だったが、サブエージェントでは7モデル中6モデルが正確に0。検証実行は、メインスレッドの7モデル中6モデルで中央値0、サブエージェントの7モデルすべてで0だった。著者は、サブエージェント行には再編集率と復旧回数についてモデル間シグナルがなく、行数では7%にすぎないメインスレッド行に可能なシグナルが残っていたと述べた。

役割の混合比もモデルごとに異なった。帰属済みコーパス全体では4,890行中4,533行、92.7%がサブエージェント行だったが、メイン比率はモデルEとBの1.5%からモデルFの71.4%まで幅があった。クロス集計では、Eがメイン2行・サブエージェント132行、Bが20・1,338、Aが200・2,761、Dが11・122、Cが88・156、Gが21・18、Fが15・6とされた。著者はこの偏りを委任ポリシーに帰し、安価な階層に送られた機械的なファンアウト作業も含まれるとした。モデルAはAのサブエージェントを1,788、Bのサブエージェントを730起動し、モデルCはBのサブエージェントを393起動していた。

モデルAとCを役割横断で統合すると、誤解を招く比較になった。統合計算ではAが(200 × 684,639 + 2,761 × 13,691) / 2,961 = 59,010、Cが(88 × 565,678 + 156 × 13,913) / 244 = 212,910となり、CがAの3.6xの出力トークンを消費するように見えた。役割ごとの層内では、メインスレッドでCは565,678対684,639、つまり0.83xでAより低く、サブエージェント実行では13,913対13,691、つまり1.02xでほぼ同じだった。著者はこの差を、教科書的なシンプソンのパラドックス（統合傾向が群別傾向と異なる現象）ではなく、異なる重みによる混合効果だと呼んだ。統合された3.6xは、役割内の意味ある効果ではなく重みの違いから出ていたためだ。

著者は、役割で層化することは最初の一歩にすぎず、指標が各層で異なる構成概念を測っている場合があると述べた。あるモデルでは、ハーネスのログ規約により99スレッド中92スレッドがツール結果行で終わっていたため、完了の代理指標がサブエージェントスレッドで破綻した。単位も変わり得る。モデルAにはメイン帰属行が200あったが、完了代理指標に使えるメインスレッドは154だった。著者のチェックリストには、まず層×処置のクロス集計を出すこと、表示はn ≥ 5、区間推定は両側n ≥ 20という閾値を事前設定すること、層をまたぐ比較を禁じること、層ごとに構成概念妥当性を検証すること、説明不能な幅ゼロ区間を退けること、統合結果と層化結果が食い違う場合は両方を公開することが入っている。

[0, 0]の信頼区間は精度ではなく同順位データを示す場合がある、という警告も示された。メインスレッドの検証実行回数では、全モデルの中央値が0だった一方、平均はA 4.11、C 2.38、G 1.67、B 0.60だった。全6組のモデルペアに対するパーセンタイル・ブートストラップでは、平均に約7xの開きがあっても、中央値差は0、95%区間は[0, 0]になった。著者は、ルーティングがランダム化されておらず、タスク難度、プロジェクト、週と絡み合っていたため、証拠は非因果的なままだと述べた。モデルAのメインスレッド再編集中央値も、4つのプロジェクトで0.34 / 0.45 / 0.53 / 0.70と変動していた。