Pathwayは、2026年9月8日に公開されたAWSの機械学習ブログ投稿によると、脳に着想を得たBDH（Dragon Hatchling）アーキテクチャをAmazon SageMaker HyperPod上で開発した。BDHはポストTransformer型モデルとして示され、段階的なchain-of-thought（推論過程を文章で示す手法）を生成するのではなく、潜在空間で推論する。Pathwayによれば、BDHは当初、疎で局所的な相互作用を通じて通信するニューロンのグラフとして定式化され、シナプスに似た接続に状態を保持することで、テスト時の重み更新なしにモデル状態を文脈内で適応させる。

Pathwayは、従来のLLMがコード生成から創作までタスクを変えてきた一方、長時間にわたる一貫した推論にはなお限界があるとしている。投稿によれば、Transformerアーキテクチャは過去10年間ほぼ静的なままで、長い対話中に忘却しやすく、セッション間で知識を保持せず、新しい知識の獲得には通常再訓練が必要になる。BDH-CQは、再帰的な潜在状態の内部で反復計算を実行し、候補回答だけをデコードすることで推論中に内部メモリを更新する。Pathwayは、この方法により長い言語化された推論トレースを避け、ファインチューニングや再訓練を必要としないとしている。

AWSの投稿は、Transformerの訓練と推論の費用が、密な計算、完全なバックプロパゲーション、固定されたコンテキストウィンドウ、増大するKV-cache（過去トークン情報の保存領域）要件に結びついていると説明した。Transformerシステムは、訓練データを超える体系的な汎化、破滅的忘却、内部推論状態の解釈しにくさにも課題を抱えるという。PathwayのCEO兼共同創業者であるズザンナ・スタミロフスカ(Zuzanna Stamirowska)は、BDHで構築した150Mパラメータのモデルが「潜在空間で再帰的に推論する」と述べ、ARC-AGI-1の費用効率で新たな最先端を示したとした。

BDHは、系列モデリングを、相互作用するニューロン粒子上の局所的なグラフダイナミクスとして再定式化する。Hebbian learning（同時に活性化するニューロン結合が強まる学習則）を使ってアテンション機構を実装し、Pathwayによれば、これは単一のニューロン次元（n）でスケールするため、Transformerに比べて分布の複雑さを減らす。投稿は、通常、任意の時点で活動しているニューロンは5 percentに限られ、BDHは固定された高次元状態を使って、Transformer型のコンテキスト長制限なしにより長い系列を処理するとしている。

Pathwayは、BDHとBDH-CQの訓練をスケールさせるためにAmazon SageMaker HyperPodを使った。AWSはHyperPodを、数百から数千のGPUにまたがる分散訓練または推論を必要とするLLMと基盤モデル向けのインフラと説明しており、自動クラスタープロビジョニング、最適化されたネットワーク、カスタマイズ可能なソフトウェアスタックを備える。Pathwayは、GPU使用率、メモリパターン、ノード間通信効率を監視するため、Amazon Managed Service for PrometheusとAmazon Managed Grafanaのダッシュボードも使用した。

訓練構成では、Amazon EC2 p5en.48xlargeインスタンス群にまたがって、Amazon Elastic Fabric AdapterをNVIDIA CUDAおよびNVIDIA Collective Communications Libraryと組み合わせて使った。投稿によれば、これらのインスタンスは1インスタンスあたり最大3200 Gbpsのネットワーク性能を提供し、NVIDIA H200 GPUを搭載する。すべてのインスタンスはEFAで接続され、GPU間のネットワーク距離を短縮し、レイテンシを下げるためにAmazon EC2 UltraCluster上で稼働した。

投稿によると、BDH-CQはARC-AGIで29.2 percent pass@2を達成し、費用は1タスクあたりUS $0.0007だった。AWSは、BDH-CQが2026年8月時点でARC-AGI-1における費用対精度のParetoフロンティアを変えたとしている。ARC-AGI-1は、未知の視覚ルールを示す少数の入出力例をAIシステムに与え、そのルールを推論して新しいグリッドに適用させる。

投稿は、BDH-CQの再帰的な潜在状態計算が、文脈内でのタスク獲得、並列的な仮説探索、任意の数のデモンストレーションを固定メモリで処理することを支えるとしている。AWSによれば、同じ推論パターンは、サイバーセキュリティインシデント、交通ネットワーク、リアルタイム産業運用、長時間稼働するワークフロー内の自律エージェントに似たタスクにも通じる。Pathwayは技術文書とリポジトリを提供しており、実装は既存のMLパイプラインに統合するための標準的なPyTorchワークフローをサポートする。

Pathwayは、2026年9月8日に公開されたAWSの機械学習ブログ投稿によると、脳に着想を得たBDH（Dragon Hatchling）アーキテクチャをAmazon SageMaker HyperPod上で開発した。BDHはポストTransformer型モデルとして示され、段階的なchain-of-thought（推論過程を文章で示す手法）を生成するのではなく、潜在空間で推論する。Pathwayによれば、BDHは当初、疎で局所的な相互作用を通じて通信するニューロンのグラフとして定式化され、シナプスに似た接続に状態を保持することで、テスト時の重み更新なしにモデル状態を文脈内で適応させる。

Pathwayは、従来のLLMがコード生成から創作までタスクを変えてきた一方、長時間にわたる一貫した推論にはなお限界があるとしている。投稿によれば、Transformerアーキテクチャは過去10年間ほぼ静的なままで、長い対話中に忘却しやすく、セッション間で知識を保持せず、新しい知識の獲得には通常再訓練が必要になる。BDH-CQは、再帰的な潜在状態の内部で反復計算を実行し、候補回答だけをデコードすることで推論中に内部メモリを更新する。Pathwayは、この方法により長い言語化された推論トレースを避け、ファインチューニングや再訓練を必要としないとしている。

AWSの投稿は、Transformerの訓練と推論の費用が、密な計算、完全なバックプロパゲーション、固定されたコンテキストウィンドウ、増大するKV-cache（過去トークン情報の保存領域）要件に結びついていると説明した。Transformerシステムは、訓練データを超える体系的な汎化、破滅的忘却、内部推論状態の解釈しにくさにも課題を抱えるという。PathwayのCEO兼共同創業者であるズザンナ・スタミロフスカ(Zuzanna Stamirowska)は、BDHで構築した150Mパラメータのモデルが「潜在空間で再帰的に推論する」と述べ、ARC-AGI-1の費用効率で新たな最先端を示したとした。

BDHは、系列モデリングを、相互作用するニューロン粒子上の局所的なグラフダイナミクスとして再定式化する。Hebbian learning（同時に活性化するニューロン結合が強まる学習則）を使ってアテンション機構を実装し、Pathwayによれば、これは単一のニューロン次元（n）でスケールするため、Transformerに比べて分布の複雑さを減らす。投稿は、通常、任意の時点で活動しているニューロンは5 percentに限られ、BDHは固定された高次元状態を使って、Transformer型のコンテキスト長制限なしにより長い系列を処理するとしている。

Pathwayは、BDHとBDH-CQの訓練をスケールさせるためにAmazon SageMaker HyperPodを使った。AWSはHyperPodを、数百から数千のGPUにまたがる分散訓練または推論を必要とするLLMと基盤モデル向けのインフラと説明しており、自動クラスタープロビジョニング、最適化されたネットワーク、カスタマイズ可能なソフトウェアスタックを備える。Pathwayは、GPU使用率、メモリパターン、ノード間通信効率を監視するため、Amazon Managed Service for PrometheusとAmazon Managed Grafanaのダッシュボードも使用した。

訓練構成では、Amazon EC2 p5en.48xlargeインスタンス群にまたがって、Amazon Elastic Fabric AdapterをNVIDIA CUDAおよびNVIDIA Collective Communications Libraryと組み合わせて使った。投稿によれば、これらのインスタンスは1インスタンスあたり最大3200 Gbpsのネットワーク性能を提供し、NVIDIA H200 GPUを搭載する。すべてのインスタンスはEFAで接続され、GPU間のネットワーク距離を短縮し、レイテンシを下げるためにAmazon EC2 UltraCluster上で稼働した。

投稿によると、BDH-CQはARC-AGIで29.2 percent pass@2を達成し、費用は1タスクあたりUS $0.0007だった。AWSは、BDH-CQが2026年8月時点でARC-AGI-1における費用対精度のParetoフロンティアを変えたとしている。ARC-AGI-1は、未知の視覚ルールを示す少数の入出力例をAIシステムに与え、そのルールを推論して新しいグリッドに適用させる。

投稿は、BDH-CQの再帰的な潜在状態計算が、文脈内でのタスク獲得、並列的な仮説探索、任意の数のデモンストレーションを固定メモリで処理することを支えるとしている。AWSによれば、同じ推論パターンは、サイバーセキュリティインシデント、交通ネットワーク、リアルタイム産業運用、長時間稼働するワークフロー内の自律エージェントに似たタスクにも通じる。Pathwayは技術文書とリポジトリを提供しており、実装は既存のMLパイプラインに統合するための標準的なPyTorchワークフローをサポートする。