AIトークンが計算資源と課金の主要単位に浮上

AIトークンは、大規模言語モデルが計算リソースの使用量を管理するために処理および生成する、テキストの基本単位として機能している [1, 2, 3]。

これらの単位によって、企業がAIサービスに支払う金額や、モデルが一度に記憶できる情報量が決定される。生成AIの利用が拡大するにつれ、トークンは単なる技術的な指標から、企業の予算策定やパフォーマンス決定における中心的な要因へと変化した [4, 5]。

トークンは、単語全体ではなく、多くの場合サブワード（単語の一部）の断片である [1, 2, 3]。つまり、モデルの設計次第で、一つの単語が複数のトークンに分割されることがある。開発者やベンダーは、これらのカウントを用いてNvidia製チップなどのハードウェアへの負荷を測定し、価格プランを設定している ^[5]。

課金方法は地域やプロバイダーによって異なる。中国の一部の電気通信事業者は、AIの利用をモバイルデータ通信と同様に扱い、100万トークンあたりの料金をユーザーに請求している ^[6]。米国では、Anthropicなどの企業が定額制から、トークンの消費量をより現実的に反映したモデルへと移行している ^[7]。

業界のリーダーたちは、これらの単位の収益化を重要な収入源と見なしている。MetaのCTOであるAndrew Bosworth氏は、「これは簡単な金儲けだ」と述べた ^[8]。

しかし、トークン量への注視が非効率性を招くと主張する批評家もいる。FastCompanyの著者は、「AI業界には静かな依存症の問題がある。それはトークンへの依存だ」と指摘した ^[9]。このような傾向は、従業員が特定の目標を達成するために、コストのかかるAIリソースを浪費する「トークンマックス（tokenmaxxing）」を助長する可能性がある ^[10]。

技術的な視点からは、トークンは主にモデルの処理のためのものであるとされるが ^[1]、商業的な現実は、それが世界中の消費者に対する課金指標としてますます利用されていることを示している ^[6]。