AIの企業ROIはアーキテクチャの問題であり、知能の問題ではない
CIOたちが居心地の悪さを感じながら暗記しつつある数字がある。組織の72%が、自社のAI投資は良くてもトントン、最悪の場合には赤字だと認めているというデータだ。Gartnerがその数字を公表しても、パニックは起きなかった。しかしそれよりも根深いもの——成果を証明できないまま、この賭けをいつまで続けられるのかという、静かな不確かさ——が広がった。
通常の答えはモデルに矛先を向ける。より良いベンダーを選べ、プロンプトを磨け、推論コストが下がるのを待て。その答えは気楽であり、ほぼ常に間違っている。失敗しているのは機械の知能ではない。それを取り巻くビジネスのアーキテクチャが失敗しているのだ。
問題には非常に具体的なメカニズムがある。企業が新しいAIエージェントを立ち上げるたびに、そのエージェントはゼロから始める。データを再接続し、ビジネスのコンテキストを再構築し、権限を再交渉し、制御を再設計し、独自の検証基準を確立する。本番環境にエージェントが6つあれば、そのインフラの並行した独立したバージョンが6つ存在する。それぞれが独自のコスト、独自の技術的負債、独自の不透明さを抱えている。その結果はスケールするAIではない。スケールするデジタル官僚主義だ。
AIの真のコストが推論の行に現れない理由
会計上の罠は巧妙だ。チームがAIプロジェクトに経済的な意味があるかを評価する際、通常はモデルのコストを見る。APIの呼び出しにいくらかかるか、各クエリが何トークン消費するか、どのベンダーが性能対価格で最も優れているか。その分析は間違いではないが、総コストのごく一部しか捉えていない。
その行に現れないのは、繰り返される統合コストだ。コンテキストの共有レイヤーなしに展開されるエージェントはそれぞれ、企業の基幹システムとの接続、認可メカニズム、ビジネスルール、エスカレーションのロジックをゼロから誰かが構築する必要がある。それはモデルのコストではない。エンジニアリング、ガバナンス、オペレーションのコストだ。そして新しいユースケースのたびに丸ごと繰り返される。
香港大学とStellaris AIの研究者が調査した金融サービスチームは、クエリの70%以上が、より小規模で安価なモデルで処理できる十分にルーティンな内容であることを発見した。しかし、複雑さによって振り分けるメカニズムを誰も設計していなかったため、すべてが同じ高コストインフラ上で動いていた。推論コストが月20万ドルを超えていたのは、業務が高度だったからではなく、アーキテクチャがいつ高度である必要があるかを「記憶」していなかったからだ。
コスト配分の問題には、あまり目立たない別の側面がある。コストが統合、チーム、ツールに分散していると、生み出された価値を帰属させることが数学的に不可能になる。ROIが低いのではない。各エージェントがどのデータを使い、どんな決定を下し、各ステップにいくらかかり、どんな結果を生んだかの統一された記録がないため、ROIを測定する方法がないのだ。断片化は展開コストを増大させるだけでなく、投資を正当化するために不可欠なトレーサビリティを破壊する。
共有レイヤーが展開の経済性を変える理由
企業システムのアーキテクトの間で形成されつつある解決策は、AIを減らすことでも、より良いモデルを調達することでもない。組織のすべてのエージェントとワークフローのバックボーンとして機能する、共有コンテキストレイヤーを構築することだ。
このアイデアには正確な経済的論理がある。ビジネス知識、権限、ビジネスルール、ガバナンスのロジックを一度だけ構築し、再利用可能なインフラとして公開すれば、2番目、5番目、10番目のユースケースを展開する際の限界コストは大幅に低下する。モデルが安くなるからではなく、新しいアプリケーションを追加するたびに企業が自社のビジネスを再接続するコストをもはや支払わなくて済むからだ。
ある化粧品業界の多国籍企業がこれを経験した。最初のエージェントはデモでは良好に動作していたが、本番環境では崩壊した。なぜなら、統合した6つのソリューションのそれぞれが、独立したサイロに独自の知識リポジトリと独自のガバナンスルールを保持していたからだ。各エージェントはコールドスタートだった。新しいプロジェクトのたびにゼロから再接続が必要だった。コストはモデルではなかった。反復だった。
コンテキストの集中化はルーティングのロジックも変える。インフラが処理しているタスクの種類を把握していれば、適切なモデルに誘導できる。複雑な推論には高性能で高コストなモデルを、ルーティンなクエリには小規模で高速なモデルを。推論コストは固定費ではなく、作業の複雑さに応じて変動する変数になる。これは限界的な最適化ではない。コストモデルの再構成だ。
補完的に、専門化されたエージェントのスウォームアーキテクチャは計算効率の観点から同様の結果をもたらす。各ステップで問題の完全なコンテキストを処理する必要があるスーパーエージェントの代わりに、限定されたドメインを持つ複数のエージェントが並列で動作する。それぞれがより小さく、より精密で、よりコストの低いコンテキストウィンドウで動作する。エージェント間の調整は、新たな運用リスクを生まずに機能するために共有ガバナンスを必要とするが、そのガバナンスが存在する場合、タスクあたりのトークン節約は相当なものになり得る。
ガバナンスは障害ではない。スケールの条件だ。
McKinseyは、多くのテクノロジーチームが痛みを伴いながら学んだことを文書化した。AIがすでに本番稼働した後にガバナンスを組み込むと、システムが生み出していた価値を超える可能性のある再エンジニアリングコストが発生するということだ。Gartnerは、適切に統合されたガバナンス技術が規制コストを最大20%削減できると推定している。それはコンプライアンスの数字ではない。アーキテクチャの数字だ。
後から追加されるレイヤーとしてのガバナンスの問題は、繰り返される作業としてのコンテキストと同じだ。各アプリケーションのために丸ごと再構築される。保険の請求ワークフローは、被保険者データへの制御されたアクセス、意思決定のトレーサビリティ、エージェントの自律性の制限、人間によるレビューへのエスカレーションルールを必要とする。それが1つのワークフローのためだけに設計されれば、次のワークフローのために再設計しなければならない。10の独立したエージェントは、同じ制御アーキテクチャの10バージョン、承認コストの10倍、不整合リスクの10倍を意味する。
ガバナンスをプラットフォームとして構築すると、制御はコードとして一度定義され、横断的に適用される。エージェントの数が増えてもコストは線形にスケールしない。なぜなら制御はエージェントが来る前から存在するからだ。この違いが、AIをスケールできる組織と、スケールしていると信じながら技術的・運用的負債を積み重ねる組織を分ける。
ガバナンスプラットフォームが生み出すトレーサビリティには、ROIの議論でほとんど明示的に語られない追加の利点がある。AIをブラックボックスから監査可能なシステムへと変えることだ。各ワークフローは、どのデータを使い、どんなアクションを取り、どんな人間の介入が必要で、いくらかかり、どんな結果を生んだかの記録を残す。それはリスク管理だけではない。取締役会や投資家がますます切迫して求めるようになる精度で経済的価値を測定することを可能にするインフラだ。
価値分配の決定としてのアーキテクチャ
技術的な分析が見落としがちだが、直接的な経済的影響を持つ次元がある。AIのアーキテクチャは、企業がどれほど効率的に運営されるかを決定するだけでなく、AIが生み出す価値を誰が獲得するかを決定する。
共有コンテキストレイヤー、インテリジェントなルーティングメカニズム、統合されたガバナンスプラットフォームを構築する組織は、外部プロバイダーへの依存を低下させる内部資産を構築している。ビジネスロジックを再構築することなく基盤となる言語モデルを変更できる。統合の全コストを再度支払うことなく新しいアプリケーションを追加できる。そのためのインフラがあるため、各ワークフローの価値を監査できる。
それを構築しない組織は、代わりにAIの規模の経済性を恒久的に外部化している。新しいベンダー、新しいモデル、新しいツールのたびに、企業にその獲得を可能にするアーキテクチャがないため、価値の一部が外部に流れる。切り替えコストは上昇する。交渉力は低下する。AIが生み出す価値は、内部に蓄積される代わりに外部に漏れ出る。
これはAI支出の評価方法に示唆を与える。CIOが答えるべき問いは、モデルにいくらかかるかではなく、その支出のうち再利用可能な能力の構築にあてられているのはどの部分で、すでに持っているべき能力に再び支払っているのはどの部分か、ということだ。その問いへの答えが、アーキテクチャへの投資と、蓄積なく繰り返される支出の違いだ。
損益トントンか赤字かという72%の組織は、必ずしも悪いモデルを持っているわけではない。新しいユースケースのコストが最初のものとほぼ同じになることを保証するアーキテクチャを持っているのだ。これは知能の問題ではない。設計の問題だ。そして設計の問題には、推論価格が十分に下がって計算が自然に合うようになるのを待つよりも、より具体的で、より永続的で、より測定可能な解決策がある。
