LLM導入がソフトウェア開発に与える運用上の悪影響
- •LLMを活用する開発チームでは、開発者あたりの欠陥発生率が50%増加した。
- •AIを導入したチームでは、開発パイプライン全体のシステムスループットが推定71〜80%低下した。
- •Faros.aiのデータによると、機能のリリースから本番環境へのデプロイまでにかかるリードタイムが約5倍に増加した。
ソフトウェア開発のテレメトリ分析を行うFaros.aiの調査によると、LLMは個々の開発者の生産性を高める一方、組織全体の開発スループットやソフトウェア品質には負の影響を及ぼしている。3月に発表された、4,000チーム、22,000人の開発者を対象とした報告書では、AIを開発プロセスに組み込んだチームで開発者あたりの欠陥発生率が50%増加したことが判明した。また、システムのフローも停滞しており、機能が本番環境へ移行するまでのリードタイムが約5倍に増大し、システムスループットは推定で71〜80%低下した。
今回の分析では、システム内のアイテム数と到着率、待機時間の関係を示す待ち行列理論の公式であるリトルの法則（Little's Law）を適用して影響を算出した。開発者のコンテキストや1日のタスク量を比較した結果、AIの導入がボトルネックとなり、仕掛品（WIP）を大幅に増やす一方で、最終的な機能のデリバリーを遅延させていることが示唆されている。この傾向は技術レベルに関わらず高性能なエンジニアリング組織でも確認されており、チームの熟練度を問わず組織的な問題であることが指摘されている。
報告書によると、AIを利用するチームではデプロイ頻度が11%低下した。筆者はLLMをインテリジェントエージェントではなく「ツール」として捉えるべきだと主張している。AIで初稿を生成するようなワークフローは知的負荷を後工程に転嫁し、結果として欠陥の特定と修正コストを増大させる。AIを基盤作業の代替と見なすのではなく、手作業でコードを記述する過程で得られる構造的な理解が品質維持には不可欠である。結論として、現状の利用パターンは不確実な技術に依存しており、ソフトウェア開発の安定した土台を形成できず、企業価値を損なっていると指摘している。