※この記事は2026年8月28日時点で公開されている情報をもとにした記録と考察です。ローカルLLMの世界は変化が非常に速いため、数か月後には前提そのものが変わっている可能性があります。
「VRAMの壁は正式に死んだ」
そんな少し刺激的な投稿がXで流れてきました。
内容を見ると、Qwenが2026年8月26日に公開したばかりのQwen3.8-Flash-Next 125B-A6Bを、RTX 4090の24GB VRAM 1枚で動かしたというものです。
報告された数字は、decodeが約21 token/s、prefillが約364 token/s。しかも250,000 tokenのcontextを確保した状態で、VRAM使用量は18.3GB。125Bという数字だけを見れば、普通は24GBのGPUに収まるようなモデルではありません。
最初に見たとき、「これが普通に実用できるなら、ローカルAI用PCの設計そのものが変わるのでは？」と思いました。
ただ、少し調べると「125Bモデルが24GBのVRAMに入った」という話ではありませんでした。
むしろ面白いのは、入らないまま実用速度で動かしていることです。
125Bなのに、毎回動くのは約6B
Qwen3.8-Flash-NextはDenseな125Bモデルではありません。MoE（Mixture of Experts）モデルです。
Qwen公式によると、メインモデルは125Bパラメータですが、1トークンあたりで活性化されるのは約6B。さらに51Bパラメータ分のN-gram Embeddingを持っています。ネイティブcontextは262,144 tokensです。
つまり、125B全部を毎回GPUで計算しているわけではありません。
今回の実験では、約111.4GBあるQ4KXL量子化モデルのうち、MoEのExpertをDDR4のシステムRAM側へ置き、AttentionなどをRTX 4090側で処理しています。
80k contextでExpertを一部GPU側にも置いた構成では、
- VRAM：約23.85GB
- RAM：約97GB
- Decode：約22.52 token/s
でした。
一方、ExpertをすべてCPU側へ逃がすと、
- VRAM：約11.66GB
- RAM：約110GB
- Decode：約20.84 token/s
になっています。
さらに250k context設定でも、
- VRAM：約18.3GB
- RAM：約110GB
- Decode：約20.97 token/s
- Prefill：約364 token/s
と報告されています。
GPUからExpertをかなり追い出しているのに、22.5 token/sから20.8～21 token/s程度にしか落ちていない。
ここが今回、一番気になったところです。
「VRAMの壁が消えた」は、半分正しくて半分違う
125Bモデルを動かすのに125B分の高速VRAMを用意しなくていい。
これはかなり大きな変化です。
ただし、VRAMの壁が本当に消えたわけではありません。
壁が、
VRAM容量
から、
システムRAM容量、RAM帯域、PCIe帯域、CPU性能、GPUとのデータ配置
へ移動した、と考えた方が近そうです。
今回もシステムRAMを約110GB使っています。32GBや64GBの一般的なPCで同じことができるわけではありません。
128GB RAMならようやく射程に入り、OSや他のアプリケーションまで考えると、常用するなら192GBくらい欲しくなるかもしれません。
つまり、
「24GB GPUで125Bが動く」
だけ切り取ると少し誤解を招きます。
正確には、
「24GBの高速VRAMと100GB超の比較的安価なシステムRAMを組み合わせれば、125B級MoEを実用速度で動かせる可能性が見えてきた」
という話です。
それでも、十分に面白い。
21 token/sは実用的なのか
個人でチャットするなら、21 token/sは十分使える速度だと思います。
少なくとも「起動しただけ」「1 token/sで何とか文章が出る」というデモではありません。
ただし、ここにも注意点があります。
投稿では250,000 context windowが強調されていますが、ベンチマークで実際に投入されているのは連続した約28k tokenのpromptです。250kは確保されたcontext上限であって、25万tokenを毎回読み込ませて364 token/sだったという意味ではありません。
長いpromptでは最初の応答まで待つ時間も無視できません。
別のDGX Spark上の検証でも、32kのcold inputではTTFTが約86秒になった例があります。一方、キャッシュ済みなら大幅に短縮されています。
なので、
「125Bが4090でクラウドAIとまったく同じ感覚で使えるようになった」
とまでは、まだ言えません。
しかも、ソフトウェア側はまだ出来たて
Qwen3.8-Flash-Next自体が公開されたのは2026年8月26日です。
llama.cppの対応もほぼ同時進行で進んでおり、8月28日時点のmasterにはQwen3.8-Flash-Next対応が取り込まれていますが、すでにGPUアーキテクチャによる出力不具合や、speculative decoding周辺のバグ報告も出ています。
つまり現在は、
「完成した新しい標準」ではなく、「面白いことが起き始めた瞬間」
です。
私はむしろ、その状態だから記録しておきたいと思いました。
もしこの方向が定着したら、AI PCの部品選びは変わる
ここからは思考実験です。
これまでローカルLLM用PCを考えるとき、GPUのVRAM容量は非常に重要でした。
24GBで足りないなら48GB。48GBでも足りないなら複数GPU。さらに上なら80GBや96GBの業務用GPU。
モデルサイズが大きくなるほど、GPU価格が急激に跳ね上がります。
しかしMoEモデルで、
必要なExpertはRAMに置き、GPUには高速に処理したい部分を置く
という方法が一般化したらどうでしょう。
すると「最もVRAMの大きなGPUを買う」ことが唯一の正解ではなくなります。
例えば、
高速GPU 1枚 ＋ 128～192GB RAM
という構成が、一気に面白くなります。
GPUに50万円追加してVRAMを増やすのと、システムRAMを大量に積むのとで、どちらが実際のAI用途に効くのか。
これまでとは違う比較が必要になります。
4090や3090の寿命が伸びる可能性もある
この方向が成熟すると、RTX 4090のような24GBカードは意外に長生きするかもしれません。
さらに面白いのはRTX 3090です。
24GB VRAMを持ち、中古市場にもかなり存在する。
もちろん演算性能や消費電力、PCIe世代などを考えれば4090や5090の方が有利ですが、「巨大MoEを動かすために必要なのは必ずしも48GB以上のVRAMではない」となると、24GB GPUの価値の見方も変わってきます。
逆に16GB GPUは、ExpertをRAMへ逃がせたとしても、Attention、KV cache、画像処理など他の領域で窮屈になる可能性があります。
将来的には、
16GB → 普通のAI PC
24～32GB → 大規模MoE向けの実用帯
48GB以上 → Dense、学習、大量batch、複数ユーザー向け
のように用途分化していくのかもしれません。
もちろん、これは2026年8月28日時点での想像です。
「GPUの価格が下がる」より「何にお金を払うか」が変わるのかもしれない
最初は、「こんなことが可能になったら高VRAM GPUの価格が下がるのでは？」とも考えました。
でも、単純にはそうならない気もしています。
24GBや32GBのGPUで巨大モデルが動くなら、むしろ4090や5090のAI用途としての価値は上がります。
一方、100B級モデルを動かすという理由だけで48GB、80GB、96GBのGPUを買っていた層の一部は、安価な構成へ移るかもしれません。
そして突然重要になるのが、
- 128GB、192GB、256GBといった大容量RAM
- メモリ帯域
- PCIe帯域
- CPU
- マザーボードのメモリ上限
- 高速NVMe
です。
「AI PC＝GPUに全予算を投入するPC」ではなくなる可能性があります。
さらに先には、RAMですらなくSSDへ逃がす動きもある
すでに別のコミュニティ検証では、Qwen3.8-Flash-Nextの大きなN-gram embedding tableをNVMe側に置き、必要部分をmmap経由で利用する試みまで出ています。
DGX Spark上の一例では、Q4モデルを使いながら約95GiBのメモリ使用量で動かし、20 token/s前後のdecodeを報告しています。
これが一般PCでどこまで効率よく使えるかはまだ分かりません。
ただ、
VRAM → RAM → NVMe
というメモリ階層全体を使って巨大モデルを動かす方向へ進んでいること自体は興味深いです。
GPUの中だけで完結させるのではなく、PC全体を一つの推論装置として使う。
考えてみれば、こちらの方が自然なのかもしれません。
自分のPersonal AI Platformにも少し関係してくる
私は現在、VPS上にPersonal AI Platformを作っています。
最初は、将来的にローカルLLMを本格利用するなら、サーバー自体をローカルへ移行する必要があるのかと思っていました。
でも今回のような流れを見ると、全部を移す必要はなさそうです。
VPSでは、
- MCP
- Scheduler
- Database
- Publishing
- Knowledge
- 各種Automation
などを24時間動かす。
一方、自宅に大容量RAM＋GPUのマシンを置いて、
重いAI推論だけを担当するWorker
にする。
ローカルPCが起動しているときはローカルLLMへ処理を渡し、止まっているときや難しい仕事だけクラウドAPIへ送る。
この構成なら、ローカルPCを常時サーバー化する必要もありません。
今回の話を調べていて、私にとってはGPUそのものより、こちらの方が現実的な変化として気になりました。
2026年8月28日、まだ「壁がなくなった」とは言えない
今の段階で、
「VRAMはもう不要」
と言うのは明らかに早いです。
Denseモデルを動かすなら依然としてVRAM容量は重要ですし、学習やFine-tuning、画像・動画生成、大量batch、複数ユーザーへの同時提供では、高帯域のVRAMに載っていることの価値は大きいままです。
そして今回のQwen3.8-Flash-Nextも、公開からわずか2日。
ソフトウェアもベンチマークも、これから急速に変わるはずです。
ただ、2026年8月28日の時点で一つ見えてきたことがあります。
これまで、
「モデルサイズ ＞ VRAM容量なら、そのGPUでは無理」
と考えるのがかなり自然でした。
これからは、
「そのモデルのどこをVRAMに置き、どこをRAMに置き、どこまでストレージへ逃がせるか」
を考える時代になるのかもしれません。
もしそうなれば、ローカルAI PCの主役はGPU単体ではありません。
GPU、CPU、RAM、PCIe、SSDを含めたメモリ階層全体になります。
数か月後にこの記事を読み返したとき、「さすがに期待しすぎだった」となっている可能性もあります。
逆に、「この頃からもう兆候は出ていた」となる可能性もあります。
2026年8月28日。
125B級のMoEモデルが、RTX 4090 1枚と大量のDDR4 RAMを使って約21 token/sで動いてるみたい。
少なくとも、ローカルAI用PCを次に組むなら、私はもうVRAM容量だけを見てGPUを選ぶことはなさそうです。
コメント