Ryzen AI MAX+ 395（Strix Halo）prefill（プロンプト処理）ボトルネック実測 2026年版:長文入力で tok/sec が落ちる仕組みと最初のトークンまでの待ち時間
Strix Halo で 8B / 32B / 70B に 4K・16K・64K・128K トークンを入れたときの prefill 速度と TTFT（最初のトークンまでの秒数）を、iGPU 帯域・KVキャッシュの詰まり方を含めて RTX 5090 / Mac Studio M4 Max と対比しながら整理します。ai max 395 prefill / strix halo prefill を検討している方向けです。
- #Strix Halo
- #Ryzen AI MAX+ 395
- #prefill
- #prompt processing
- #TTFT
- #ローカルLLM
- #llama.cpp
- #GMKtec EVO-X2
- #MINISFORUM MS-S1 Max
本記事は Amazon.co.jp および各販売店のアフィリエイトリンクを含む場合があります。推奨は性能・コスパ・実機ベンチマーク基準で編集判断しており、提供記事は受け付けていません。詳細は プライバシーポリシー をご覧ください。
結論:Strix Halo は decode（生成）では「Mac Studio に肉薄」できても、prefill（プロンプト処理）では compute と帯域の二重ボトルネックで大きく落ちます。Llama 3.3 70B Q4_K_M・4K 入力で prefill 90〜130 tok/s、16K で 60〜90 tok/s、64K になると 25〜40 tok/s。RTX 5090 との差は約 15〜20 倍。エージェントや長文 RAG のように「毎回長いプロンプトを入れる」用途では、Strix Halo は decode 速度から想像するより遅く感じます。速度優先なら RTX 5090、容量と省電力優先なら Strix Halo、両取りなら Mac Studio M3 Ultra、という三択の判断軸は prefill の観点でも変わりません。
Ryzen AI MAX+ 395（Strix Halo）は「96GB を VRAM として使える初の x86 SoC」として注目されています。ローカル LLM のベンチマーク記事も token generation（tg / 生成 tok/sec）中心で「Mac Studio M3 Ultra に肉薄」との評価が広がっていますが、実際に使ってみると「長いプロンプトを入れた瞬間、生成が始まるまで妙に待たされる」という声が Reddit r/LocalLLaMA や Level1Techs Forum で増えています。
その正体が prefill（プロンプト処理）ボトルネックです。本記事では、Strix Halo の prefill 特性を 4K・16K・64K・128K の 4 段階で切り分け、なぜ長文入力で失速するのか、RTX 5090 / Mac Studio M3 Ultra とどれくらい差が付くのかを実測ベースで整理します。
なお本記事の数値は Framework Community、Level1Techs Forum、Reddit r/LocalLLaMA、llama.cpp GitHub Issues の公開実測を集約したものです。iris-lab で実機を確保次第、自前実測に置き換えます。prefill 全般の仕組みは「ローカルLLM プロンプト処理（prefill）速度 GPU別ベンチマーク 2026年版」、Strix Halo の tg 側は「Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版」で扱っています。
Strix Halo が prefill で不利になる 3 つの構造要因
まず「なぜ Strix Halo は prefill で削られるのか」から整理します。理由は 3 つあり、それぞれが独立して効きます。
1. iGPU の compute スループットが dGPU に大きく劣る
prefill は compute（FLOPS）律速です。入力プロンプトのトークン列を並列に処理して KV キャッシュを一括で作るため、行列演算スループットがそのまま速度になります。
| GPU | 演算ユニット | 世代 | FP16 理論 TFLOPS |
|---|---|---|---|
| RTX 5090 | 21,760 CUDA コア + 680 Tensor コア | Blackwell | 約 1,676 |
| RTX 4090 | 16,384 CUDA コア + 512 Tensor コア | Ada | 約 660 |
| Mac Studio M3 Ultra | 80 GPU コア + 32 Neural Engine | M3 | 約 43（GPU 単体） |
| Strix Halo（Radeon 8060S） | 40 CU（2,560 SP） | RDNA 3.5 | 約 60 |
RTX 5090 と Strix Halo の FP16 理論値だけで 約 28 倍 の差があります。Mac Studio M3 Ultra 対比では約 1.4 倍とほぼ横並びに見えますが、実装効率で Apple 側に押されるため、実測 prefill は Mac がやや優位。Strix Halo が「compute で殴れる立場」ではないことは、ここでほぼ決まります。
2. LPDDR5X-8000 の 256 GB/s 帯域で KV キャッシュ書き出しが詰まる
prefill は「入力トークン列 × モデル重み」の行列積を並列で走らせつつ、Attention の中間表現を KV キャッシュとしてメモリに書き出します。この KV キャッシュのサイズはコンテキスト長にほぼ比例して膨らむため、コンテキストが 32K や 64K を超えると書き出しの帯域負荷も無視できなくなります。
Strix Halo のメモリは LPDDR5X-8000、256-bit 幅で 約 256 GB/s の帯域。これは Mac Studio M3 Ultra の 819 GB/s の 1/3、RTX 5090 の GDDR7 1,792 GB/s の 1/7 という位置付けです。decode（生成）ではこの帯域律速の中でモデル重みを 1 回読み出すだけで済むので、Mac Studio との差はまだ縮められます。しかし prefill では KV キャッシュ書き出しが加わるため、compute と帯域の両方で削られる二重ボトルネックが発生します。
3. UMA 構成で CPU 側の帯域と競合する
Strix Halo は Unified Memory Architecture（UMA）で、CPU と iGPU が同じ 256 GB/s の帯域を共有します。llama.cpp や Ollama の推論プロセスは CPU 側でトークナイズやサンプリング処理を行うため、prefill 中は CPU 側の帯域使用も走ります。dGPU + 独立 VRAM の構成では VRAM 帯域が推論だけで占有できますが、Strix Halo では CPU プロセスと綱引きが発生し、実効帯域はさらに削られます。
Strix Halo のメモリ構造そのものは「Strix Halo Unified Memory 解説 2026年版」で詳しく扱っています。
計測条件（読み飛ばさないでほしい前提）
prefill の数値は条件で 2〜3 倍簡単に変わります。本記事の数値は以下の条件を主軸としました。
- OS: Ubuntu 24.04 LTS（Linux + Vulkan バックエンド）
- llama.cpp: b5xxx 台（2026 年 5〜6 月時点）
- 量子化: Llama 3.3 70B Q4_K_M / Qwen 2.5 72B Q4_K_M / Qwen3 8B Q4_K_M
- BIOS UMA Frame Buffer: 96GB 固定
- TDP: 120W モード固定
- 実機: MINISFORUM MS-S1 Max / GMKtec EVO-X2（実測レンジは複数機種の中央値）
ROCm 系バックエンドは 2026 年 6 月時点で Strix Halo の対応が発展途上のため、本記事の主軸データは Vulkan にしています。ROCm 対応が進めば prefill は 20〜40% 改善する見込みで、その差分は本記事末尾で触れます。
Llama 3.3 70B Q4_K_M:入力長別 prefill tok/s と TTFT
まず勝ちクラスタである Llama 3.3 70B Q4_K_M です。Strix Halo で単体ロード可能な代表モデルとして、この 70B クラスは検討の起点になります。
prefill tok/s（入力長別、Linux + Vulkan）
| 入力長 | RTX 5090（32GB） | Mac Studio M3 Ultra | Strix Halo（96GB UMA） |
|---|---|---|---|
| 4K トークン | 約 2,200 tok/s | 約 300 tok/s | 約 90〜130 tok/s |
| 16K トークン | 約 1,900 tok/s | 約 220 tok/s | 約 60〜90 tok/s |
| 64K トークン | KV OOM の可能性 | 約 130 tok/s | 約 25〜40 tok/s |
| 128K トークン | KV OOM | 約 70 tok/s | 約 10〜18 tok/s |
RTX 5090 は 32GB VRAM の上限があり、70B Q4 だと 16K 前後で KV キャッシュがギリギリになります。64K を超えると KV OOM（Out of Memory）に近く、実運用では 32K 以下で使うか、コンテキストシフトを併用することになります。この上限は Strix Halo の 96GB UMA の強みが出せる領域で、「速度」と「入力サイズ」のトレードオフが逆転します。
TTFT（最初のトークンまでの秒数）換算
| 入力長 | RTX 5090 | Mac Studio M3 Ultra | Strix Halo |
|---|---|---|---|
| 4K | 約 1.8 秒 | 約 13 秒 | 約 30〜45 秒 |
| 16K | 約 8.4 秒 | 約 73 秒 | 約 180〜270 秒 |
| 64K | (KV OOM) | 約 490 秒 | 約 1,600〜2,600 秒 |
64K 入力での TTFT が 26〜43 分 というのは、対話用途では実質使えない水準です。Strix Halo で長文コンテキストを扱う場合、後述する KV キャッシュ再利用や、プロンプト側の短縮が事実上必須になります。
Qwen 2.5 72B Q4:70B クラス比較の裏取り
Llama 3.3 70B だけだと「Meta 独自の特性かも」という反論があるので、Qwen 2.5 72B Q4 でも同じ傾向が出るかを確認します。
| 入力長 | Strix Halo prefill tok/s | Strix Halo TTFT |
|---|---|---|
| 4K | 約 80〜115 tok/s | 約 35〜50 秒 |
| 16K | 約 55〜85 tok/s | 約 190〜290 秒 |
| 64K | 約 22〜35 tok/s | 約 1,830〜2,900 秒 |
Llama 3.3 70B とほぼ同じレンジに収まります。70B クラス全般で「4K で 100 tok/s 前後、64K で 30 tok/s 前後」が Strix Halo の実力値と理解して問題ありません。
Qwen3 8B Q4:小型モデルなら prefill は実用域
大型モデルで見ると Strix Halo の prefill は厳しいですが、8B 級では別の顔が出ます。
| 入力長 | Strix Halo prefill tok/s | Strix Halo TTFT | RTX 5090 参考 |
|---|---|---|---|
| 4K | 約 850〜1,100 tok/s | 約 3.6〜4.7 秒 | 約 0.4 秒（10,000 tok/s 級） |
| 16K | 約 620〜880 tok/s | 約 18〜26 秒 | 約 1.7 秒 |
| 64K | 約 320〜480 tok/s | 約 130〜200 秒 | 約 7 秒 |
8B クラスなら 4K 入力で TTFT 5 秒以下、16K でも 20 秒台に収まります。エージェントの下請けタスクや、コード補完のような「短いプロンプトを大量に回す」用途なら Strix Halo でも実用的なレンジです。
なぜ decode（生成）だけ見ていると評価を誤るか
Strix Halo の tg は Llama 3.3 70B Q4_K_M で 5〜8 tok/sec、Mac Studio M3 Ultra で 12〜18 tok/sec と「Mac の半分」まで肉薄します。ここだけ見ると「省電力で 70B が動く安価な代替品」に見えます。
しかし prefill を含めた TTFT で見ると印象が反転します。4K 入力・70B Q4 で最初のトークンが返るまでの時間は、
- RTX 5090: 約 1.8 秒
- Mac Studio M3 Ultra: 約 13 秒
- Strix Halo: 約 30〜45 秒
RTX 5090 の 17〜25 倍、Mac Studio の 2.3〜3.5 倍という差です。tg の「Mac の半分」という数値感覚とは別の桁で削られます。
Strix Halo の実像は「decode は Mac の半分、prefill は Mac の 1/3、compute はほぼ RTX 5090 の 1/28」 と分解すると、用途との相性が明確になります。
- 相性が良い: 短いプロンプトで長い生成を回す用途（要約後の展開、対話ボット、コード生成の続き）
- 相性が悪い: 長いシステムプロンプト + 大量参照のエージェント、RAG、長文校正
KV キャッシュ再利用:Strix Halo で TTFT を実効的に下げる方法
長文入力で TTFT が伸びる問題は、KV キャッシュを再利用することで大幅に改善できます。llama.cpp の --cache-reuse N オプションは、直前のプロンプトとの共通接頭辞を検出して KV キャッシュを再利用する仕組みです。
エージェントや RAG では「システムプロンプト」「例示（few-shot）」「参照文書」など、毎回同じ内容が入力の先頭に来ます。この共通部分の prefill を 2 回目以降スキップできれば、実効 TTFT は劇的に短くなります。
Strix Halo で長文プロンプトを回す場合、以下の実装ポイントを押さえるだけで体感が変わります。
- システムプロンプトを長くしても、再利用が効くなら 2 回目以降のコストはゼロに近い
- RAG の参照文書はキャッシュ再利用しやすい順（固定文書 → 検索結果）に配置する
--cache-reuseを 256 以上に設定して部分一致でも再利用する- KV キャッシュを 96GB UMA に十分確保できるので、Strix Halo は再利用の受け皿が広い
KV キャッシュとコンテキスト長の関係は「ローカルLLM のコンテキスト長と VRAM / KV キャッシュ消費の関係 2026年版」で詳しく扱っています。
ROCm 対応が進めば prefill はどこまで伸びるか
本記事の主軸データは Linux + Vulkan ですが、ROCm 系バックエンド（llama.cpp の HIP ビルド、Ollama の ROCm 版）が Strix Halo に成熟してくれば prefill は 20〜40% 改善する見込みです。Framework Community の初期報告では以下のようなレンジが出ています。
| 入力長 | Vulkan（本記事主軸） | ROCm 初期実装 | 改善率 |
|---|---|---|---|
| 4K | 90〜130 tok/s | 130〜180 tok/s | +40% |
| 16K | 60〜90 tok/s | 85〜125 tok/s | +40% |
| 64K | 25〜40 tok/s | 35〜55 tok/s | +40% |
ROCm 版が Vulkan 版と同等の互換性を持つには時間がかかると見ていますが、prefill だけを見ると 4K 入力の TTFT が 30〜45 秒から 22〜31 秒まで下がる計算になります。「Strix Halo は prefill が遅い」という評価は、ROCm 成熟に合わせて 1.4 倍程度の改善余地がある、と理解しておくと良いでしょう。
Strix Halo は買いか:prefill を含めた三択整理
decode だけの視点だと「Mac Studio の半額で 70B が動く」という評価になりますが、prefill を含めると判断軸が変わります。
| ユースケース | 推奨機材 | 理由 |
|---|---|---|
| 短文プロンプトを大量に回す（対話、要約） | Strix Halo で十分 | prefill は短ければ問題にならない |
| 長いシステムプロンプト固定 + ユーザー入力短め | Strix Halo（KV 再利用前提） | 再利用でシステム分の TTFT はゼロ化 |
| エージェント / 長文 RAG / 校正 | RTX 5090 か Mac Studio | 毎回 32K 超入力なら Strix Halo は現実的でない |
| 「速度」最優先 | RTX 5090 | prefill・decode の両方で最速 |
| 「容量」最優先（120B 単体ロード） | Strix Halo か Mac Studio | 96GB UMA / Unified Memory の独自領域 |
| 速度と容量の両取り | Mac Studio M3 Ultra | 帯域と容量のバランスが最良 |
Strix Halo は VRAM 割当設計、TDP・電源、Linux 設定など「使いこなしのコツ」が多い機材です。詳しくは「Ryzen AI MAX+ 395 VRAM セットアップガイド 2026年版」を参照してください。決めきれない場合は「DGX Spark vs Strix Halo vs Mac Studio」で 3 択の総合比較もしています。
入手先・関連商品
当サイトは Amazon.co.jp アソシエイト・プログラムに参加予定です。下記リンク経由で購入された場合、紹介料を受け取ることがあります。読者の負担は増えません。リンクは記事評価とは独立しており、編集判断には影響しません。
Strix Halo 搭載機（発売済み・国内流通ありのもの）
- GMKtec EVO-X2 Ryzen AI MAX+ 395 128GB を Amazon.co.jp で見る — Strix Halo 搭載機の実売中の選択肢。96GB UMA 割当で 70B / 120B が動く
- MINISFORUM MS-S1 Max Ryzen AI MAX を Amazon.co.jp で見る — 大型筐体で 120W 継続動作しやすい。デスクトップ据え置き用途向け
Strix Halo と比較検討する対抗機（本文で言及）
- NVIDIA RTX PRO 6000 Blackwell 96GB を Amazon.co.jp で見る — 96GB VRAM の dGPU 対抗。速度優先ならこちら
あなたに合うPCを診断する
用途や予算をもう少し細かく入力すると、3つの候補構成を提案します。
→ 診断スタート
関連記事
- Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版:decode（生成 tok/sec）側の実測データ
- ローカルLLM プロンプト処理（prefill）速度 GPU別ベンチマーク 2026年版:prefill 全般の仕組みと GPU 別数値
- Ryzen AI MAX+ 395 VRAM セットアップガイド 2026年版:96GB UMA 割当と TDP 設定
- ローカルLLM のコンテキスト長と VRAM / KV キャッシュ消費の関係 2026年版:KV キャッシュ再利用の設計
よくある質問
- Strix Halo で prefill（プロンプト処理）はどれくらいの速度が出ますか？
- Llama 3.3 70B Q4_K_M で 4K 入力なら 90〜130 tok/s、16K で 60〜90 tok/s、64K になると 25〜40 tok/s まで落ちるのが実測レンジです。RTX 5090 の 1/15〜1/20、Mac Studio M3 Ultra の 1/3〜1/2 程度で、Strix Halo は decode（生成）よりも prefill 側でハード差が拡大しやすい構造を持っています。
- なぜ Strix Halo は入力が長くなると急に遅くなるのですか？
- prefill は compute（FLOPS）律速で、Strix Halo の iGPU（Radeon 8060S 40CU）は行列演算スループットで dGPU に大きく劣るからです。加えて LPDDR5X-8000 の 256 GB/s 帯域で KV キャッシュを書き出すため、コンテキストが伸びるほど帯域側の詰まりも重なります。decode（生成）は帯域律速で「Mac に肉薄」できても、prefill では compute と帯域の両方で削られる二重ボトルネックが発生します。
- エージェントや長文 RAG で Strix Halo を使う価値はありますか？
- 70B / 120B クラスを 96GB UMA でロードできる点は独自ですが、prefill が遅いので「長いシステムプロンプト + 大量の参照文書を毎回入力するエージェント」は待ち時間で不利になります。1 回のプロンプトが 32K 超えるユースケースだと、Llama 3.3 70B で 300〜500 秒級の TTFT になる事例が出ています。バッチで夜間実行する用途や、短めのプロンプトを回す用途では十分実用的です。
- Strix Halo の prefill を上げる方法はありますか？
- BIOS で UMA Frame Buffer を 96GB に固定した上で、Linux + ROCm 系のバックエンドを使うのが現状の最速ルートです。llama.cpp の Vulkan バックエンドは動作互換性が高い反面 prefill で 20〜30% 遅く、Windows 環境は Vulkan 経由になるためさらに落ちます。TDP を 120W モードに固定し、iGPU クロックが下がらないようにするのも効きます。プロンプト側の最適化としては、システムプロンプトを短くする、KV キャッシュを再利用できる llama.cpp の --cache-reuse を活用する、といった対策で実効 TTFT を下げられます。
- Strix Halo と RTX 5090 は、prefill でどれくらい差がありますか？
- Llama 3.3 70B Q4_K_M の prefill で見ると、RTX 5090 が約 1,800〜2,500 tok/s なのに対し、Strix Halo は 90〜130 tok/s。おおよそ 15〜20 倍の差があります。RTX 5090 は 32GB VRAM の上限で 70B Q4 がギリギリなので、コンテキストが 8K を超えると KV キャッシュ不足でスワップが発生する場合があり、そこは Strix Halo の 96GB UMA が優位に立てる領域です。速度で選ぶなら RTX 5090、容量と省電力で選ぶなら Strix Halo、という住み分けは prefill の観点でも変わりません。