以前、「人」と「情報の種類」には相性があるかも？――文字・写真・動画・音声についての私的考察という記事を書きました。
文字で読む。写真を見る。動画を見る。音声で聞く。
人によって得意不得意があり、同じ人でも情報の内容によって最適な形式は変わるのではないか。そんなことを考えた記事です。
ところが、その話をしている途中で別の疑問が出てきました。
じゃあ、AIにとって文字、画像、音声って何なんだ？
私は生成AIを使い始めたころ、「トークン」という言葉を、
AIが文章を処理するために、文字や単語を細かく分割したもの
くらいに理解していました。
これは別に間違っていません。テキストでは、単語や文字、単語の一部などに分割された単位をモデルが処理します。
ところが2026年現在のAIを見ていると、普通にこんな言葉が出てきます。
image tokens
audio tokens
……待って。
画像にもトークンがあるの？
音にもトークンがあるの？
トークンって、文章を細かく切ったものじゃなかったのか。
気になったので、あらためて整理してみました。
そもそも「トークン」は、文章そのものではない
たとえば、
猫が机の上にいる。
という文章をAIへ渡したとします。
人間は一続きの文章として読みますが、モデルはそのまま文字列として扱うわけではありません。文章をある単位に分割します。
単語丸ごとのこともあれば、単語の一部、1文字、句読点などになることもあります。これがテキストのtokenization（トークン化）です。
どんな単位に分かれるかはモデルやエンコーディング、言語によって違います。
つまり、最初に押さえておきたいのは、
トークン＝単語ではない。
ということです。
「モデルが情報を扱うために区切った単位」と考えると少し近い。ただし、この時点ではまだテキストの話です。
問題はここから。
2026年現在、「トークン」は文字だけに使われていない
現在のマルチモーダルAIでは、テキストだけでなく画像、動画、音声についても「トークン」という言葉が使われます。
しかも単なる比喩ではありません。APIでは、画像や音声が利用量として実際にトークン数で数えられる場合があります。
OpenAIのAPIでも、使用量の内訳としてtext tokens、image tokens、audio tokensといった区別が登場します。GoogleのGeminiでも、画像、動画、音声を含む入力がトークンとして計算されます。
ここで、私が最初に持っていた
トークンとは、文章を細かく分割したもの
という理解だけでは足りなくなりました。
「token」という言葉は、テキスト以外の情報をモデルが扱うときにも使われている。
じゃあ、画像をものすごく長い文章に変換しているのか？
そこで最初に考えたのがこれでした。
画像をAIに見せて、
「この画像を再現できるくらい詳細なプロンプトを書いて」
と頼むと、とんでもなく長い文章が返ってくることがあります。
一枚の猫の画像でも、毛の色、姿勢、視線、背景、机の位置、光源、カメラアングル、被写界深度、色調、画風、位置関係……全部を文章にするとかなり長い。
一方、人間なら画像を一目見て、
「ああ、机の前で猫が考え込んでいる絵ね」
と理解できます。
だったらAIも、画像を内部で巨大な文章へ変換して、それをLLMが読んでいるのでしょうか。
かなりありそうに見えます。
でも、現在のマルチモーダルAIはそんな単純な仕組みではありません。
少なくとも、全部を一度「文章」にするわけではない
この点はGPT-4o登場時の説明が分かりやすいです。
それ以前のChatGPT音声モードでは、音声を文字へ変換し、GPTで処理し、その結果を再び音声へ変換する複数モデルのパイプラインが使われていました。
この方法では、声のトーン、複数話者、背景音、笑い声など、文字にしにくい情報が途中で落ちます。
GPT-4oでは、テキスト、画像、音声を一つのニューラルネットワークでエンドツーエンドに処理する方向へ変わったと説明されました。
つまり、
音声をまず文章にして、その文章だけをAIが理解する
という方式だけではなく、
音声そのものが持つ情報もモデルが扱う
ようになったわけです。
画像についても、「画像 → 詳細な文章 → LLM」と必ず変換しているわけではありません。画像には画像の表現があり、音声には音声の表現がある。それをモデルが計算できる形へ変換して扱います。
ここで「トークン」の意味が少し変わって見えてきた
調べる前の私は、
token = 文章の破片
というイメージでした。
今は、もう少し広く、
モデルが情報を処理するための単位として使われる言葉
くらいに考えています。
ただし、ここは注意が必要です。
テキストトークン、画像トークン、音声トークンが、まったく同じ仕組みで作られた同じ種類のデータという意味ではありません。モデルによって実装も違いますし、企業によって数え方も違います。
API上の「1 image token」を、そのままAI内部に存在する唯一絶対の「思考の粒」だと考えるのも違います。
「token」という言葉が、複数のレイヤーで使われている。
ここがややこしい。
「トークン」はAIの原子なのか？
「AIはトークンで考えている」という表現を見かけることがあります。
分かりやすい表現ですが、少し厳密に考えると言い切りすぎだと思います。
テキストの場合、入力された文章がトークンへ分割されるのは確かです。しかし、その後はトークンが数値表現へ変換され、ニューラルネットワークの中で大量の計算が行われます。
だから、
トークンはAIの「思考そのもの」ではなく、情報とモデルを接続する単位の一つ。
くらいに考える方が、私はしっくりきます。
マルチモーダルAIになると、その接続口が文字以外にも広がります。
文字を入れる入口。 画像を入れる入口。 音声を入れる入口。
入り口では違う姿をしている情報を、モデル内部では計算可能な表現として関連付けていく。
この見方をすると、だいぶ分かりやすくなりました。
画像一枚は「何文字分」なのか
すると、もう一つ気になります。
画像一枚は、文章にすると何文字分なのでしょう。
でも、この問い自体が少し変なのかもしれません。
一枚の写真には、猫、窓、山、夕方の光、猫の向き、机の上のマグカップなど、多数の情報が同時に存在できます。
文章では、それを順番に書かなければなりません。
位置関係、色、質感、光、陰影。画像では同時に存在しているものを、言語では一次元の列へほどいていく必要があります。
つまり、
文章と画像では、情報の持ち方そのものが違う。
画像を詳細な文章へ変換すると長くなるのは、「画像の中に巨大な文章が隠れているから」ではありません。
同時に存在する視覚情報を、順番に流れる言語へ変換するから長くなる。
と考えた方が自然です。
しかも、どれだけ長く説明しても元画像の情報を完全には文章化できません。逆に文章にも、画像だけでは正確に表現しにくい情報があります。
やっぱり情報には、それぞれ向いている形がある。
前の記事の話に戻ってきました。
画像生成も「文章を絵に翻訳している」だけではない
画像生成も、感覚としては「文章 → 画像」なので翻訳のように見えます。
でも、文章を一文ずつ絵へ置換しているわけではありません。
現在の画像生成モデルでは、テキストと画像の関係、画像同士の関係、圧縮された表現などを使って画像を生成します。
ここでも、文字と画像の間に、モデルが扱える別の表現があると考えた方が自然です。
じゃあ「逆プロンプト」は何をしているのか
画像をAIへ渡して、
「この画像を生成できる詳細なプロンプトを書いて」
と頼むと、長大なプロンプトが返ってきます。
これは、画像の内部に隠れていた「元プロンプト」を復元しているわけではありません。
同じ画像は無数の文章で説明できますし、同じ文章からも無数の画像を作れます。
AIがやっているのは、画像から読み取った視覚情報を、もう一度言語という形式へ写し直すことに近いです。
「逆プロンプト」というより、画像の言語化。
詳細に言語化しようとするほど文章が長くなります。
AIにとって、文字と画像は「同じ」なのか
ここまで来ると、最初の問いに戻れます。
AIにとって、文字と画像は同じ情報なのか？
たぶん答えは、
同じではない。でも、同じモデルの中で関連付けて扱えるようになってきた。
です。
人間は「これは文字」「これは音」「これは写真」とかなり強く分けて認識します。AIにも入力形式の違いはありますが、それらを同じモデルの中で結びつける方向へ進んでいます。
少なくとも、AIは全部を一度「言葉」に翻訳してから理解しているという私の最初の想像は、現在のマルチモーダルAIには当てはまりませんでした。
結局、2026年現在の「トークン」って何だ？
ここまで調べたあとで、自分なりに答えるならこうなります。
トークンとは、モデルが情報を扱うための単位として使われる言葉。ただし、テキスト・画像・音声で中身や作り方まで同じとは限らない。
テキストでは文字列を分割した単位。画像では視覚情報をモデルへ渡すために数えられる単位。音声では音の情報を扱う単位。
そしてAPIでは、コンテキスト量や利用量、料金を数えるための単位としても使われます。
だから「token」という一語を見たときは、
何のトークンなのか。
を確認しないといけません。
text tokenなのか。 image tokenなのか。 audio tokenなのか。 それともAPI上の利用量として数えているtokenなのか。
2026年の生成AIでは、ここまで考えた方がよさそうです。
「言語モデル」という名前も、少し不思議に見えてきた
LLMは Large Language Model、つまり大規模言語モデルです。
でも現在のAIは写真を見て、声を聞き、声で答え、画像を作り、動画まで扱います。
何でもまとめて「LLM」と呼んでいる現在の呼び方も、そのうち少しずつ変わっていくのかもしれません。
今回、「トークンとは何か」を調べただけのはずでした。
でも結局、
AIにとって「情報」とは何なのか。
というところまで来てしまいました。
そして次は、
AIはこうしたトークンや内部表現から、どうやって「意味」を作っているんだろう。
という疑問が出てきます。
また調べることが増えた。
コメント