企業AIパイプラインが損失を生む原因はトークンではなく、その前にある
人工知能のパイロットプロジェクトが積み重なっていくと、野心的な取り組みというよりも、混乱の様相を呈し始める瞬間がある。その瞬間が多くの大企業に訪れたのは2026年のことで、最も明確なシグナルは技術的な崩壊でも、モデルの失敗でもなかった。それはもっと平凡で、取締役会の場では説明しにくいものだった——トークンの消費がコストを上回ったにもかかわらず、それに見合った価値が生み出されていなかったのである。
ウーバーはその実態が明らかになった事例の一つだ。同社は、消費量が計画を超えた後、社内AIへの支出を見直した。これは奇妙な例外ではなく、過去2年間にわたって最大主義的な論理でAIを導入した組織に繰り返されるパターンの、目に見える症状だった——より多くのユースケース、より多くのエージェントの展開、より多くの従業員のシステム統合、そしてより多くのトークンの消費。当初、その論理は擁護できるものだった。ある技術が新しく、その変革の可能性が明確でないとき、幅広い探索には意味がある。問題は、その探索が意図的なアーキテクチャに道を譲るべき時点で止まらなかったことだ。
セールスフォースでデータ、AIガバナンス、コンテキストエンジニアリング担当プロダクトマネジメント担当副社長を務めるスミート・アグラワル氏は、フォーチュン誌に企業の論説コラムとして発表した診断を公表した。その内容は、通常この種のコラムが受けるよりも多くの注目に値する。彼の中心的な主張は明確だ——トークンの価格を下げても問題は解決しない。なぜなら問題はトークンの価格にあるのではなく、企業がそれを使用するためのアーキテクチャにあるからだ。
あらゆる段階で漏れるパイプライン
アグラワル氏が用いるメタファーは、正確であるがゆえに有用だ。大企業における現代のAIパイプラインはザルのように機能する。実行の各フェーズでトークンを、そしてそれとともに資金を漏らしていく。しかもそれは偶発的ではなく、設計によるものだ。より正確に言えば、設計の欠如によるものだ。
エージェントが営業やカスタマーサービスのクエリを受け取ったとき、下にしっかりと構築されたデータインフラがなければ、まず最初にすることは未加工のコンテキストでプロンプトを埋め尽くすことだ——整理されていないデータ、重複したレコード、優先順位のない履歴。モデルはその情報の塊を処理するが、その大部分はノイズだ。アグラワル氏によれば、このような過剰消費は1回のインタラクションで必要なトークン数の5倍から10倍にもなり得るという。トークン100万件あたり10〜15ドルの価格で、中規模から大規模の企業で1日に何千件ものインタラクションがあれば、計算は無視できないものになる。
第二の漏れポイントは、ガバナンスのないデータアクセスだ。明確なカタログがなく、系譜もなく、品質シグナルもなければ、エージェントは信頼できる情報を求めてデータウェアハウスを探し回る。このプロセスは遅く、コストがかかり、一貫性のない結果をもたらす。ガバナンスが存在する場合でも、それはしばしば事後的な管理として機能し、エージェントを最初の試みから認証済みデータへと誘導するルーティングシグナルとしては機能していない。
第三の漏れポイントは、直接的な予算という観点からは最もコストがかかるものかもしれない——タスクの複雑さに関わらず、利用可能な最大のモデルにすべてのタスクを送ることだ。ルーティンの分類や単純な検索は、複雑な推論や重要な意思決定と同じモデルを必要としない。すべてのケースを同じフロンティアモデルで処理することは、ジュニアアナリストが解決できるタスクにシニアディレクターのチームを使うことと組織的に等しい——技術的には可能だが、機能的には不合理だ。
残りの2つの漏れポイントは見えにくいが、同様にコストがかかる。永続的なメモリを持たないエージェントは各インタラクションをゼロから始める——コンテキストを再ロードし、履歴を再処理し、すでに解決されていた例外を再発見する。セマンティックな再利用性を持たないエージェントは、キャッシュまたは事前計算できたはずの回答を再生成する。反復的なインタラクションのたびに、まるで初回であるかのように料金が発生する。
プロバイダーが代わりに解決できないこと
アンソロピック、オープンAI、グーグルは入力トークンの価格を引き下げ、プロンプトキャッシュのメカニズムを導入した。カーソルは、Composer 2.5においてパフォーマンスだけでなく、コストをモデル選択の変数として組み込んでいる。これらは顧客からの圧力に対する合理的な反応だが、企業が内部アーキテクチャの問題を解決していなければ、間違った変数を攻撃していることになる。
必要以上のトークンを10倍消費しているシステムでトークン価格を引き下げれば、比例したコスト削減は得られるが、構造的なギャップは埋まらない。それは、桁違いの解決策を持つ問題に対する線形的な改善だ。先にアーキテクチャを解決した企業は、価格引き下げでは再現できない優位性を得る。なぜならその優位性はトークン市場にあるのではなく、自社データの質、フローのガバナンス、そして各タスクの性質に応じて正しいモデルに作業をルーティングする能力にあるからだ。
アグラワル氏は明確に表現している——どの企業もより多くのトークンを購入できる。しかし、より少ないトークンからより多くの価値を引き出す方法を知っている企業はほとんどない。両者の違いは、狭い意味での技術的なものではない。アーキテクチャ的かつ組織的なものだ。
彼が挙げる例は具体的だ——インフォマティカのマスターデータ管理とData 360、セールスフォースの顧客データプラットフォームの統合は、各エージェントが検証済みでセマンティックに強化された顧客コンテキスト上で動作することを保証する。その結果はトークンの効率化にとどまらない——ガバナンスのないAI消費を、測定可能かつ監査可能なビジネス価値へと転換することだ。
設計の欠如がもたらす真のコスト
組織設計の観点から見ると、アグラワル氏が描写していることは技術的な問題でも価格の問題でもない。それは、規律ある探索フェーズをスキップして、まだ効率的に活用するための基盤が整っていなかった技術の早期活用フェーズに突入したことの、繰り延べられたコストだ。
2024年から2025年にかけて最大主義的な論理でAIを採用した企業は、正当なプレッシャーの下でそうした——どのモデル、どのワークフロー、どのチームが価値を生み出すかについての不確実性が、広範な展開戦略を正当化した。正当化できなかったのは——そして多くの組織が実行しなかったのは——その展開が持続可能な形でスケールするか、あるいは単に技術的負債を積み上げるだけになるかを左右するデータおよびガバナンスインフラを並行して構築することだった。
問題は探索したことではない。設計なしに探索したことだ。そして今、その欠如した設計は、計画を超えるトークンの請求書と、特定の投資に帰属させることのできない結果という形で現れている。
企業の技術採用事例には、言及する価値のあるパターンがある——組織は間違った基準でコア事業と同じ指標で判断されるべきでない段階にある取り組みを早急に評価する傾向がある。しかし同時に、すでに価値を生み出すべき段階にある取り組みを長すぎる間メトリクスなしに放置する傾向もある。エンタープライズAIについては、多くの企業が後者を行った——測定もアーキテクチャも行わないまま展開し、今やより大きな混乱とより大きな累積コストという立場から調整に直面している。
修正は絶対的な意味でコストがかかるものではない。適切に構築されたデータカタログ、ルーターとして機能する品質シグナル、エージェントのための永続的なメモリ、タスクの複雑さに応じたモデル割り当ての明確なルール——これらの決定はどれも例外的な予算を必要としない。それらが必要とするのは、すでにスケールモードに入っている組織において手に入れるのがより困難なもの——意図的な優先順位付けと、時間をかけて持続されるアーキテクチャの規律だ。
モデル市場では購入できない優位性
アグラワル氏はトークンの効率性をエンタープライズAIにおける次の競争優位性として位置づけている。この見解は正しいが、さらに精緻化できる。真の優位性は、孤立したメトリクスとしてのトークン効率にあるのではない。自社データを、スケールで動作するエージェントのための信頼できるコンテキストに変換する組織的能力にあり、その結果が監査可能で帰属可能となる十分なガバナンスを備えていることにある。
それはモデルプロバイダーから購入できる能力でも、トークン100万件あたりの価格を引き下げることで得られる能力でもない。それは内部で構築される能力であり、エージェントの展開に先立つデータアーキテクチャの決定によって生まれるものであって、その逆ではない。すでにそのインフラを持つ企業は、時間とともに拡大していく優位性を得る——各インタラクションは前回よりも安く、速く、信頼性が高くなる。そのインフラを持たない企業は、トークン価格が下がってもコストが下がらないという状況に直面する。
言語モデル市場は時間とともにさらに安くなっていくだろう。これはほぼ確実だ。しかし、AIを効率的に使える企業とそうでない企業の間のギャップは、組織設計、データ品質、ガバナンスの問題であり続けるだろう。そしてそのギャップに対する解決策は、いかなる外部プロバイダーのカタログにも存在しない。
2026年においてもなお、ステートレスなエージェントで運用し、機能するデータカタログを持たず、すべてのワークロードを最もコストの高いモデルに送り続けている組織は、トークンに金を払っているのではない。AIインフラをまだ安く設計できるうちに設計しなかったことの、繰り延べられた代償を払っているのだ。
