FreeToken ― コンシューマGPUで大規模MoEモデルをローカル高速推論するエンジン

大規模な MoE(Mixture-of-Experts)モデルを動かすには、VRAM を大量に積んだ業務用 GPU かクラウドの高額な GPU インスタンスが要る ― この前提を覆すエンジンが、UC Berkeley と UT Austin の研究チームから発表されました。「FreeToken」は、8GB しか VRAM を積んでいないノート PC 用 GPU でも、パラメータ数が数百億級の MoE モデルを動作させられることを示しています。総パラメータ数が数千億級のモデルについても、業務用GPUまでを含めた検証環境で動作が確認されています。

研究の詳細は論文 "FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution" として、arXiv に2026年8月17日付で投稿されました(arXiv:2608.16157v1 [cs.DC])。著者には UC Berkeley の Shuo Yang 氏、UT Austin の Chenfeng Xu 氏が名を連ねています。

MoEモデルの弱点 ― 巨大VRAMという前提

MoE モデルは、推論のたびにモデル内の全パラメータを使うのではなく、一部の「Expert」だけを呼び出す構造を持ちます。パラメータの総数が数百億〜数千億に達しても、1回の推論で実際に活性化するのはその一部だけです。

ところが従来の推論エンジンの多くは、モデル全体を GPU の VRAM に載せ切ることを前提にしていました。活性化する Expert がどれになるかは入力によって変わるため、「使う可能性がある分は全部 VRAM に置いておく」という設計になりがちだったためです。この前提のもとでは、モデルが大きくなるほど必要な VRAM も比例して増え、コンシューマ向け GPU では手が届かなくなります。

FreeToken の研究チームは、この前提そのものを疑いました。「不足しているのはハードウェアではなく、手元のマシンの GPU・CPU・メモリ・帯域を丸ごと1つの弾力的な推論基盤として扱うサービングシステムだ」という設計思想を提示しています。

VRAMをキャッシュとして使う ― 帯域幅適応的なCPU-GPU協調実行

FreeToken は、モデルの全 Expert をホスト RAM に置き、GPU の空き VRAM は「よく使う Expert だけを保持する LRU キャッシュ」として扱います。呼び出す Expert がすでに VRAM 内にあれば(cache hit)、そのまま GPU 上で計算します。

VRAM 内に無い場合(cache miss)は、実測した PCIe の帯域比に応じて、ホスト RAM 上で直接 CPU 実行する経路と、VRAM へ転送してから GPU で実行する経路とに、処理を動的に分割します。GPU の VRAM 容量やマシンごとの PCIe 帯域は環境によってばらつくため、固定の振り分けルールではなく、実測値に基づいて配分を変える設計になっている点が特徴です。

対応GPUとモデル ― 8GBのノートPCから96GBの業務用GPUまで

論文が検証環境として挙げている GPU は、RTX 4060 Laptop(8GB)・RTX 3090(24GB)・RTX 4090(24GB)・RTX 5090(32GB)・RTX PRO 6000 Blackwell(96GB)です。GitHub の README では、NVIDIA RTX 30/40/50 シリーズに対応すると明記されています。

対応モデルの例として挙げられているのは、Qwen3.6-35B-A3B(35B パラメータ)、DeepSeek-V4-Flash(284B パラメータ、実働時に活性化するのは約13B のみ)、GLM-5.2(753B パラメータ、実働時に活性化するのは約40B のみ)です。いずれも総パラメータ数に対して実働時に活性化する Expert の割合は小さく、GPU VRAM に載せる必要があるのは常にその一部だけになります。

実測ベンチマーク ― 実際にどれくらい速いのか

RTX 5090 上で、Qwen3.6 のデコード速度は77〜83 tok/s、DeepSeek-V4-Flash は22〜25 tok/s(いずれも論文記載の数値)。従来システムと比較してスループットは1.5〜2.3倍向上したとされています。VRAM が8GB しかない RTX 4060 Laptop でも、Qwen3.6 は39.3 tok/s で動作したと報告されています。

いずれも論文記載の検証環境における数値であり、本番運用環境での安定性や再現性を保証するものではありません。

コスト・運用面の意味 ― クラウドGPUに頼らない選択肢

FreeToken を公開している GitHub リポジトリ(FlashML-org/FreeToken)は Apache License 2.0 で公開されており、PyPI パッケージ(freetoken)や Windows/Linux 向けデスクトップアプリとしても配布されています。試すこと自体のハードルは、ライセンス・配布形態の面では低く設計されています。

企業が大規模 MoE モデルの導入を検討する際、これまでは「クラウドの GPU インスタンスを借りるか、業務用の大容量 VRAM を積んだ GPU を購入するか」という二択に近い形で検討せざるを得ませんでした。FreeToken が示したのは、手元のコンシューマ GPU と CPU・メモリを組み合わせて使う第三の選択肢が、少なくとも検証環境レベルでは技術的に成立するという事実です。

導入を検討する際に確認すべきは、GPU の VRAM 容量に加えて、候補にしているモデルの総パラメータ数に対する活性化パラメータ数の比率です。VRAM 容量は LRU キャッシュのサイズとしてそのまま cache hit 率に効く一方、活性化パラメータ数が総パラメータ数に対して小さいモデルほど、キャッシュに載せるべき Expert の総量自体が少なくて済みます。

まとめ

FreeToken が示したのは、大規模 MoE モデルの実行に必要なのは GPU 単体の VRAM 容量でなく、GPU・CPU・メモリ・帯域をどう組み合わせるかという設計だという方向性です。今回の検証で対応が明記されているのは NVIDIA の RTX 30/40/50 シリーズのみで、他ベンダーの GPU での動作は現時点の公開情報からは確認できません。

関連

AI エージェントを業務で回すときの設計と運用については、CTO の note に書いています。

• Leadeas CTO｜note

出典:

• https://arxiv.org/html/2608.16157v1
• https://github.com/FlashML-org/FreeToken
• https://note.com/npaka/n/n6064bfdb71ed

※ この記事は AI を使用しています。Leadeas が自社開発した AI エージェント基盤で下書きを作成し、人間のレビューを経て公開しています。AI ネイティブ開発会社として自社の技術をそのまま実演する目的で、この手法を用いています。(詳しくは AI 利用ポリシー)