ラクタノ AI編集部
AIを活用して毎日最新情報をお届けしています
1. この論文を一言で言うと
「AIの料金体系の『定規』は、実は伸び縮みするゴムだった」――コスト試算の常識を覆す衝撃の事実
AIの利用料金や性能の基準として当たり前に使われている「トークン」という単位。これまで「1トークン＝約0.75単語」といった定説が信じられてきましたが、本研究は「モデルによってトークンの数え方が全く異なる」ことを実証しました。
つまり、「単価が安いモデルを選んだつもりが、実はトークン数が膨れ上がって割高になっていた」という事態が起こり得るのです。本記事では、この「見えないコスト」の正体と、中小企業が正しいAI選定を行うための防衛策を解説します。
2. なぜ今この研究が重要なのか
ビジネス現場でのAI導入が「本格化」したからこそ直面する課題
ChatGPTやClaude、Geminiといった生成AI（LLM）は、もはや「面白いおもちゃ」ではなく、業務効率化やサービス開発に欠かせないインフラとなりつつあります。中小企業の現場でも、日報の自動要約、カスタマーサポートの自動化、社内文書の検索システム（RAG）など、実用的な導入が進んでいます。
これに伴い、経営者や実務担当者が直面するのが「コスト管理」と「モデル選定」の問題です。
AIのAPI利用料は、一般的に「100万トークンあたり〇〇ドル」という形で設定されています。また、AIが一度に記憶・処理できるデータ量（コンテキストウィンドウ）も「128kトークン（約12万8000トークン）」のように表記されます。
業界にはびこる「誤った常識」
これまで、多くの解説記事や技術書では、以下のような「経験則」が語られてきました。
「英語の場合、1トークンは約0.75単語（約4文字）です」
「日本語の場合、1トークンは約1文字〜1.5文字程度です」
企業はこの基準を信じて、「自社のデータ量はこれくらいだから、コストはこれくらいだろう」「このモデルなら自社のマニュアルを全部読み込めるはずだ」と試算を行ってきました。
しかし、2026年1月に公開された本論文『How Long Is a Piece of String?（紐の長さはどれくらい？）』は、この前提が危険なドンブリ勘定であることを科学的に証明しました。企業がAI利用を拡大し、扱うデータ量が膨大になればなるほど、この「計算のズレ」は無視できない損失につながります。今こそ、この「トークン」という曖昧な単位の実態を知り、正確なモノサシを持つ必要があります。
3. 技術的に何が新しいのか
本研究の最大の功績は、GPT-4、Claude 3、Gemini、Llama 3など、主要な10種類のAIモデルの「トークナイザー」を徹底的に比較検証した点にあります。
そもそも「トークナイザー」とは？
AIは、私たちが書く文章をそのまま理解しているわけではありません。「トークナイザー」という仕組みを使って、文章を「トークン」と呼ばれる意味の最小単位（数値の列）に分解してから処理しています。
例えば、「apple」という単語は、多くのモデルで「apple」という1つのトークンになりますが、複雑な単語や日本語などは、細かく分割されることがあります。
研究で明らかになった4つの衝撃的な事実
1. モデルによって「分割数」が倍近く違う
研究チームは、同じテキストを異なるモデルでトークン化し、その数を比較しました。その結果、モデル間で驚くべき差があることが判明しました。
最もわかりやすい例として、非常に長い英単語「antidisestablishmentarianism（反国教会廃止主義）」を処理させたケースが挙げられます。
同じ1つの単語を処理するのに、ClaudeはGeminiの約1.8倍のトークンを消費します。もし仮に両者の「1トークンあたりの単価」が同じだったとしても、この単語を処理する場合、Claudeの方が実質コストが倍近くかかることになります。
2. 「0.75単語＝1トークン」説の完全否定
検証の結果、頻繁に使われる一般的な単語（例: "the", "and"）は効率的に1トークンに収まりますが、専門用語や珍しい単語になると、途端に複数のトークンに分割されることがわかりました。
一律の計算式でコストを見積もることは、「タクシー料金を距離だけで計算し、渋滞（複雑な単語）による加算を無視する」ようなものです。
3. 分野による「___PROTECTED_REGION_6___」の激しい格差
さらに興味深いのは、扱うテキストの「ジャンル」によっても効率が変わる点です。
- 自然言語（エッセイなど）: 比較的効率よくトークン化される。
- プログラムコード・数式: 記号や特殊な文字列が多いため、トークン数が膨れ上がりやすい。
- 絵文字: 意外にも多くのトークンを消費する場合がある。
IT企業がソースコードをAIに解析させる場合や、製造業が数式の多い技術文書を扱わせる場合、一般的なビジネス文書よりもはるかに多くのトークン（＝コスト）を消費している可能性があります。
4. カタログスペックの「見かけの容量」
「このモデルは12万8000トークンまで処理可能！」と謳っていても、そのモデルのトークナイザーが非効率（文字を細かく刻みすぎる）であれば、実際に入力できる文字数は少なくなります。
論文では、トークン数ではなく「文字数（キャラクター数）」ベースでの比較指標を提案しており、これに基づくとモデル間の性能差の順位が入れ替わることさえあると指摘しています。
4. 実社会・ビジネスへのインパクト
この研究結果は、AIを活用するあらゆる企業にとって、無視できない「経営リスク」と「コスト削減のチャンス」を示唆しています。
① コスト試算の罠：「単価」だけで選ぶと損をする
例えば、以下のような2つのモデルがあったとします。
- モデルA: 100万トークンあたり 10ドル
- モデルB: 100万トークンあたり 15ドル
一見、モデルAの方が安く見えます。しかし、自社の業務データ（例えば専門用語が多い契約書）を処理させたとき、トークン数が以下のようになったらどうでしょうか？
- モデルA: 非効率なトークナイザーで、1文書あたり 2,000トークン 消費
- モデルB: 効率的なトークナイザーで、1文書あたり 1,000トークン 消費
この場合の実質コストは以下のようになります。
- モデルA: 2,000トークン × 10ドル = 0.02ドル
- モデルB: 1,000トークン × 15ドル = 0.015ドル
なんと、単価が高いはずのモデルBの方が、トータルコストは25%も安くなるのです。
「単価」という表面的な数字だけでなく、「トークン化効率（燃費）」を考慮しないと、知らぬ間に高いコストを払い続けることになります。
② 多言語・専門分野での「隠れコスト」
日本企業にとって特に重要なのが、言語による差です。多くのAIモデルは英語を中心に開発されているため、日本語のトークン化効率は英語に比べて悪い傾向があります。
さらに、今回の研究で「分野による差」が指摘された通り、以下のようなケースでは想定以上のコストがかかる可能性があります。
- 医療・法務・製造業: 専門用語や特殊な記号が多い文書。
- IT開発: プログラムコードの生成やレビュー。
- グローバル展開: 多言語の翻訳や対応。
これらの業務でAIを使う場合、一般的な見積もりよりもバッファを持たせた予算計画が必要です。
③ RAG（社内データ検索）システムの設計ミス
社内の膨大なマニュアルや過去のデータをAIに検索させる「RAG（検索拡張生成）」システムを構築する場合、データを「ベクトルデータベース」という場所に保存します。
この保存コストや、検索時の処理コストも「トークン数」に比例します。
トークン化効率の悪いモデルを採用してしまうと、データベースの容量を無駄に食いつぶし、検索速度も低下します。システムの根幹に関わる部分だからこそ、初期のモデル選定が長期的な運用コストに直結します。
5. 中小企業が今からできる備え
では、私たちは具体的にどうすればよいのでしょうか？ 明日から実践できる3つのアクションアイテムを提案します。
アクション1：カタログ値を鵜呑みにせず「自社データで実測」する
これが最も確実で重要な対策です。「一般的にこれくらい」という数値を捨て、自社で実際に使うデータを使って計測してください。
【具体的な手順】
OpenAI Platform Tokenizer*
Anthropic Console*
これにより、「自社の業務において、どのモデルが最も効率的（トークン数が少ない）か」が可視化されます。
アクション2：比較表を「文字数ベース」で作り直す
社内で導入モデルを検討する際、比較表の項目を修正しましょう。
「コンテキストウィンドウ：128kトークン」と書くのではなく、「実質処理可能文字数：日本語で約〇万文字」という項目を作ります。
アクション1で計測した「このモデルは日本語1000文字で〇〇トークン消費する」というデータを使えば、逆算して「このモデルは一度に何文字まで読めるか」をより正確に算出できます。
これにより、経営陣に対して「A社の方が数字は大きいですが、実質的に読める量はB社の方が多いです」といった正確な提案が可能になります。
アクション3：コスト試算に「燃費係数」を導入する
APIコストを計算するExcelシートや計算式を見直しましょう。
単に「単価」を比較するのではなく、アクション1で割り出した「トークン化効率（燃費）」を加味した「実質単価」を算出します。
実質単価 ＝ カタログ単価 × （自社データでのトークン数 ÷ 文字数）
少し手間はかかりますが、このひと手間をかけるだけで、年間で見れば数十万円〜数百万円規模のコスト削減につながる可能性があります。特に、大量のデータをバッチ処理で流すような業務フローを組んでいる場合は必須の作業と言えるでしょう。
6. 論文情報
本記事は、以下の論文および分析結果に基づいています。
- タイトル: How Long Is a Piece of String? A Brief Empirical Analysis of Tokenizers
* （日本語訳：紐の長さはどれくらい？ トークナイザーに関する簡潔な実証分析）
- 著者:
* Jonathan Roberts (University of Cambridge)
* Kai Han (The University of Hong Kong)
* Samuel Albanie (University of Cambridge / Google DeepMind)
- 公開日: 2026年1月16日
- arXivリンク: https://arxiv.org/abs/2601.11518v1
※本記事の内容は論文の分析結果に基づくものであり、各AIモデルの仕様はアップデートにより変更される可能性があります。最新の情報は各社の公式ドキュメントをご確認ください。
