VRAM 8GB でローカルLLM はどこまで動くか 実測ベンチマーク 2026年版：RTX 5060 Ti 8GB / RTX 4060 / RX 9060 XT 8GB で 3B・7B・8B・14B Q3 を回した tok/sec と VRAM 溢れの挙動
VRAM 8GB GPU（RTX 5060 Ti 8GB / RTX 4060 / RX 9060 XT 8GB）でローカルLLMは何 B・どの量子化まで動くのか、tok/sec と VRAM オフロード挙動を公開実測ベースで整理します。3B・7B・8B・14B Q3 の実測 tok/sec、KV キャッシュ溢れで CPU オフロードが発動する条件、8GB 帯での現実解を数値で示します。
- #ローカルLLM
- #VRAM 8GB
- #RTX 5060 Ti 8GB
- #RTX 4060
- #RX 9060 XT
- #tok/sec
- #量子化
- #llama.cpp
- #Q4_K_M
- #KVキャッシュ
本記事は Amazon.co.jp および各販売店のアフィリエイトリンクを含む場合があります。推奨は性能・コスパ・実機ベンチマーク基準で編集判断しており、提供記事は受け付けていません。詳細は プライバシーポリシー をご覧ください。
結論：VRAM 8GB の現実解は「7〜8B Q4_K_M を 8K コンテキストで回す」までです。3B クラスは 60〜90 tok/sec で快適、8B Q4_K_M は 30〜55 tok/sec で実用、14B Q3_K_M はモデル本体は載るが KV キャッシュとコンテキストで詰まり CPU オフロード前提になります。GPU 別では RTX 5060 Ti 8GB（Blackwell、$429）が LLM 用途で最速、RX 9060 XT 8GB（RDNA 4、$349）は帯域は高いが ROCm 熟成度で一歩譲る、RTX 4060 8GB（Ada、$299）は最安ながら Ada 世代の Flash Attention で堅実に動く、というのが 2026 年 8 月時点の相場感です。
「VRAM 8GB の GPU で本当にローカル LLM は動くのか」「RTX 5060 Ti 8GB を買っていいのか」という質問は、2026 年に入ってから急に増えました。ローカル LLM で動かせるモデルは ローカルLLM VRAM 容量別モデル早見表 2026年版 で全容量を横串で整理していますが、本記事はそのうち 8GB 帯だけを切り出して 実測 tok/sec と VRAM 溢れの挙動を数値で示します。
数値の出典について：本記事の tok/sec 値は llama.cpp GitHub Issues の実測ログ、r/LocalLLaMA コミュニティの RTX 5060 Ti 8GB / RX 9060 XT 8GB レビュー投稿、TechPowerUp / Notebookcheck の GPU レビュー、HuggingFace モデルカードの推奨 VRAM を出典明記で集約した相場感です。iris-lab 自前計測ではありません。実際の tok/sec はモデル・量子化・エンジン・OS・電源プロファイルで ±20〜30% は動きます。
対象 GPU 3 種と基礎スペック
比較対象は 2026 年時点で新規購入できる VRAM 8GB dGPU の代表 3 種です。
| GPU | 世代 | MSRP | メモリ帯域 | Flash Attention | 主要推論エンジン |
|---|---|---|---|---|---|
| RTX 5060 Ti 8GB | NVIDIA Blackwell（GB206） | 約 $429 | 288 GB/s（GDDR7 128bit） | FA2 / FA3（対応） | CUDA + llama.cpp / Ollama |
| RTX 4060 8GB | NVIDIA Ada（AD107） | 約 $299 | 272 GB/s（GDDR6 128bit） | FA2（対応） | CUDA + llama.cpp / Ollama |
| RX 9060 XT 8GB | AMD RDNA 4（Navi 44） | 約 $349 | 320 GB/s（GDDR6 128bit） | 部分対応（ROCm 6.3+） | ROCm / Vulkan + llama.cpp |
3 種とも 128bit バス幅で VRAM 帯域帯は近く、288〜320 GB/s のレンジに収まります。差が出るのは推論エンジンの熟成度と Flash Attention の対応状況です。RTX 5060 Ti 8GB は Blackwell 世代で FP4 / FP8 演算まで対応するものの、8GB モデルという構成上 LLM 用途では 7〜8B までが現実的なターゲットになります。Intel Arc B580 は 12GB モデルで 8GB 帯を超えるため、本記事の比較対象からは外しています（12GB 帯のベンチは別記事の予定）。
実測 tok/sec 相場感：3B / 7B / 8B / 14B Q3 の 4 サイズで
llama.cpp / Ollama を使い、プロンプト 512 tokens、生成 256 tokens、コンテキスト 8K、量子化 Q4_K_M（14B のみ Q3_K_M）で回した公開実測ログの中央値を整理します。
Llama 3.2 3B Q4_K_M（実ファイル約 2.0GB）
| GPU | tok/sec 相場感 | VRAM 使用量 | 備考 |
|---|---|---|---|
| RTX 5060 Ti 8GB | 約 75〜95 tok/sec | 約 3.0GB | 余裕、コンテキスト 32K でも 4.5GB 前後 |
| RTX 4060 8GB | 約 60〜80 tok/sec | 約 3.0GB | Ada CUDA + FA2 で安定 |
| RX 9060 XT 8GB | 約 55〜75 tok/sec | 約 3.0GB | ROCm 6.3 + Vulkan バックエンドで動作 |
3B クラスは 8GB 帯にとって「余裕枠」で、コンテキストを 32K まで伸ばしても VRAM は半分しか使いません。応答レイテンシが最短で済むため、リアルタイム対話・音声アシスタント・軽量エージェント用途に向きます。
Qwen 2.5 7B Q4_K_M（実ファイル約 4.4GB）
| GPU | tok/sec 相場感 | VRAM 使用量（8K） | コンテキスト上限（実用） |
|---|---|---|---|
| RTX 5060 Ti 8GB | 約 50〜65 tok/sec | 約 6.0GB | 8K 快適、16K は KV Cache 量子化併用 |
| RTX 4060 8GB | 約 40〜52 tok/sec | 約 6.0GB | 同上 |
| RX 9060 XT 8GB | 約 38〜50 tok/sec | 約 6.0GB | ROCm HIP + llama.cpp、Flash Attention 部分対応 |
7B は 8GB 帯の「主戦場」です。Q4_K_M でモデル本体が 4.4GB、コンテキスト 8K の KV キャッシュ約 1.2GB、実行時オーバーヘッド 0.3GB を足して 6GB 前後で収まります。ここまでは GPU 100% で回せて、tok/sec も体感で十分快適な速度が出ます。
Llama 3.1 8B Q4_K_M（実ファイル約 4.9GB）
| GPU | tok/sec 相場感 | VRAM 使用量（8K） | 32K コンテキスト時 |
|---|---|---|---|
| RTX 5060 Ti 8GB | 約 45〜55 tok/sec | 約 6.8GB | KV Cache 溢れ、部分オフロードで約 15〜20 tok/sec |
| RTX 4060 8GB | 約 35〜45 tok/sec | 約 6.8GB | 同上、約 12〜18 tok/sec |
| RX 9060 XT 8GB | 約 30〜42 tok/sec | 約 6.8GB | 同上、約 10〜16 tok/sec |
8B クラスは 8K コンテキストなら GPU 完全収容で動きますが、16K を超えると KV キャッシュが VRAM を圧迫し始めます。32K まで伸ばすと llama.cpp の部分オフロード（-ngl で一部レイヤーを CPU 側に配置）が発動し、tok/sec は 1/2〜1/4 に落ちます。CPU 側のメモリ帯域（DDR5-6000 で 96 GB/s 前後）が新たな律速要因になり、CPU コア数よりメモリ帯域が効きます。
Qwen 2.5 14B Q3_K_M（実ファイル約 6.7GB）
| GPU | tok/sec 相場感 | VRAM 使用量（4K） | 実用性 |
|---|---|---|---|
| RTX 5060 Ti 8GB | 約 20〜28 tok/sec | 約 7.6GB | 4K に切り詰めれば GPU 単体、8K で部分オフロード |
| RTX 4060 8GB | 約 15〜22 tok/sec | 約 7.6GB | 同上、CPU オフロード率高め |
| RX 9060 XT 8GB | 約 13〜20 tok/sec | 約 7.6GB | 同上、ROCm 側のメモリアロケーションで詰まりやすい |
14B は Q3_K_M で「ギリギリ載せられる」レベルです。コンテキストを 2K〜4K に絞れば GPU 単体で動きますが、8K 以上では部分オフロードが必須で tok/sec が半減します。実用的には 14B 常用は 12GB（RTX 5070 12GB）以上を推奨するのが正直な結論です。8GB で 14B を回すのは「試せる」レベルにとどまります。量子化レベル別の精度差は ローカル LLM 量子化ベンチマーク 2026年版 に整理しています。
VRAM 8GB が溢れる境目：KV キャッシュとコンテキスト長
8GB 帯の実運用で最も重要な数値が KV キャッシュ です。KV キャッシュはコンテキスト長に比例してリニアに増え、モデル本体とは別枠で VRAM を消費します。
8B Q4_K_M の KV キャッシュ実使用量
| コンテキスト長 | KV Cache（FP16） | KV Cache（Q8_0 量子化） | モデル本体込みの合計（FP16 KV） |
|---|---|---|---|
| 2K tokens | 約 0.32GB | 約 0.16GB | 約 5.6GB |
| 4K tokens | 約 0.64GB | 約 0.32GB | 約 5.9GB |
| 8K tokens | 約 1.28GB | 約 0.64GB | 約 6.5GB |
| 16K tokens | 約 2.56GB | 約 1.28GB | 約 7.8GB |
| 32K tokens | 約 5.12GB | 約 2.56GB | 約 10.4GB（8GB 溢れ） |
| 128K tokens | 約 20.5GB | 約 10.2GB | 約 26GB（GPU 単体不可） |
8B クラスで 8GB VRAM を運用する場合、16K コンテキストが実質上限 です。32K を狙うと FP16 KV では溢れ、Q8_0 量子化を併用しても 10GB 相当が必要になります。この境目は Llama 3.1 8B / Qwen 2.5 7B / Gemma 2 9B のすべてで共通の傾向です。
KV Cache 量子化（-ctk q8_0 -ctv q8_0）を有効にすると KV サイズを半減できます。精度低下は文脈依存タスクで 1〜3% 程度に留まるため、8GB 帯で長文コンテキストを扱うなら実質必須のオプションです。詳細は ローカル LLM KV キャッシュ量子化ガイド 2026年版 に整理しています。
部分オフロード発動時の tok/sec 低下パターン
llama.cpp の -ngl <N> オプションで N レイヤーだけを GPU に配置し、残りを CPU に配置する部分オフロード時の tok/sec 低下は、モデルの総レイヤー数と GPU 配置比率で決まります。
Llama 3.1 8B（32 レイヤー）を RTX 5060 Ti 8GB + Core i5-14400F + DDR5-6000 で回した例
| GPU 配置レイヤー | 配置比率 | tok/sec 相場感 | GPU 単体比の速度低下 |
|---|---|---|---|
| 32 / 32（全レイヤー） | 100% | 約 50 tok/sec | 基準（100%） |
| 24 / 32 | 75% | 約 22 tok/sec | 約 44% |
| 16 / 32 | 50% | 約 12 tok/sec | 約 24% |
| 8 / 32 | 25% | 約 7 tok/sec | 約 14% |
| 0 / 32（CPU のみ） | 0% | 約 4.5 tok/sec | 約 9% |
GPU 完全収容の 50 tok/sec に対し、25% のレイヤーを CPU に落とすだけで速度は半分以下に落ちます。「少しだけ CPU オフロード」は現実には成立せず、8GB 帯では GPU 完全収容できるモデル・コンテキストに絞る のが最適解です。CPU オフロード時の律速は CPU コア数以上に DDR5 メモリ帯域（96〜115 GB/s）で決まるため、DDR5-6000 → DDR5-7200 への換装で 15〜20% の改善が期待できます。
GPU 別の LLM 適性：CUDA / ROCm / Vulkan 熟成度
3 種の GPU は VRAM 帯域が近いにも関わらず、tok/sec に差が出ます。理由は推論エンジン側の対応状況です。
RTX 5060 Ti 8GB：CUDA + FA3 で最速
RTX 5060 Ti 8GB は Blackwell（GB206、CUDA 12.6 以降）に対応し、llama.cpp / Ollama の CUDA バックエンドで Flash Attention 2/3 が完全に効きます。8B Q4_K_M で 45〜55 tok/sec 相場感は、3 GPU の中で最速です。Blackwell の FP4 演算まで使えばさらに 15〜20% 上乗せできますが、2026 年 8 月時点の llama.cpp は FP4 対応が実装途上で、実用的には INT4 / FP8 経由が主流です。
RTX 4060 8GB：Ada CUDA + FA2 の堅実な選択
RTX 4060 8GB は Ada（AD107、2023 年発売）で世代的には 2 世代前ですが、CUDA + FA2 の対応は完全で、8GB LLM 用途では実質「MSRP 差を許容できるなら Blackwell を選ぶが、$130 の差を惜しむなら Ada でも十分」というポジションです。tok/sec の実測差は 8B Q4 で 15〜20% 前後で、体感差は「快適」から「やや快適」への差程度です。
RX 9060 XT 8GB：RDNA 4 + ROCm 6.3 の伸びしろ
RX 9060 XT 8GB は RDNA 4 世代で、ROCm 6.3 以降で llama.cpp の HIP バックエンドが安定動作します。VRAM 帯域は 320 GB/s と 3 種で最高ですが、Flash Attention の対応は部分的で、CUDA + FA2 との差が tok/sec に現れます。8B Q4_K_M で 30〜42 tok/sec は、Windows 環境（Vulkan バックエンド）だと 25〜35 tok/sec まで落ちる報告もあり、Linux + ROCm での運用が推奨されます。RDNA 系全般の ROCm と CUDA の差は ROCm vs CUDA ローカル LLM 比較 2026年版 で扱っています。
8GB VRAM で組む場合の推奨構成
8GB dGPU 単体で LLM を運用する場合の最小構成の目安です。
| パーツ | 推奨 | 理由 |
|---|---|---|
| GPU | RTX 5060 Ti 8GB or RTX 4060 8GB | LLM 用途では CUDA 系が推奨。ゲーミング兼用なら RX 9060 XT も候補 |
| CPU | Core i5-14400F / Ryzen 5 7500F | 部分オフロード時のメモリ帯域が律速なので CPU 上位は不要 |
| メモリ | DDR5-6000 32GB（16GBx2） | 部分オフロード時の実行速度に直結 |
| SSD | Gen4 NVMe 1TB 以上 | モデルファイル（3〜7GB/個）の複数保持用 |
| 電源 | 650W 80PLUS Gold（ATX 3.1） | RTX 5060 Ti の TDP 180W + CPU 65W で余裕 |
VRAM 8GB の GPU は 32B 級以上を扱えないため、7〜8B を「速く安定して回す」機体という位置付けになります。将来 14B〜32B にステップアップする可能性があるなら、最初から VRAM 12GB（RTX 5070 12GB）や 16GB（RTX 5060 Ti 16GB / RTX 5070 Ti 16GB）を選ぶほうが結果的に安く済みます。8GB vs 16GB の判断軸は ローカル LLM PC の最低スペック 2026年版 と RTX 5060 Ti 16GB vs RTX 5070 12GB ローカル LLM 比較 2026年版 に整理しています。
本記事で参照した実測値の一次ソース
数値の出典を明記します。個別の環境差は必ずソース側で再確認してください。
- llama.cpp GitHub Issues の RTX 5060 Ti / RX 9060 XT 実測レポート（
llm.cpp/issuesの 2026 年上半期分） - r/LocalLLaMA サブレディットの 8GB GPU 実測投稿（
RTX 5060 Ti 8GB Local LLM benchmark系スレッド） - TechPowerUp の RTX 5060 Ti 8GB / RTX 4060 8GB / RX 9060 XT 8GB レビュー
- HuggingFace モデルカード（Llama 3.1 8B / Qwen 2.5 7B / 14B / Llama 3.2 3B）の推奨 VRAM 記載
- Meta / Qwen / Google の各モデル公式ブログでの推論 tok/sec 参考値
入手先・関連商品
当サイトは Amazon.co.jp アソシエイト・プログラムに参加しています。下記リンク経由で購入された場合、紹介料を受け取ることがあります。読者の負担は増えません。リンクは記事評価とは独立しており、編集判断には影響しません。
本記事で比較した 8GB GPU
- RTX 5060 Ti 8GB を Amazon.co.jp で見る
- RTX 4060 8GB を Amazon.co.jp で見る
- Radeon RX 9060 XT 8GB を Amazon.co.jp で見る
一段上（VRAM 12〜16GB）で 14B 以上を狙う代替
8GB LLM 機の周辺パーツ
- DDR5-6000 32GB（16GBx2） を Amazon.co.jp で見る
- AMD Ryzen 5 7500F を Amazon.co.jp で見る
- Crucial T500 2TB Gen4 NVMe SSD を Amazon.co.jp で見る
- 850W 80PLUS Gold 電源 を Amazon.co.jp で見る
あなたに合うPCを診断する
用途や予算をもう少し細かく入力すると、3つの候補構成を提案します。
→ 診断スタート
関連記事
- ローカルLLM VRAM 容量別モデル早見表 2026年版：全容量帯の対応モデル早見表
- RTX 5060 Ti 16GB vs RTX 5070 12GB ローカル LLM 比較 2026年版：次に検討する VRAM 12〜16GB 帯
- ローカル LLM 量子化ベンチマーク 2026年版：Q3/Q4/Q5 の精度差
- ローカル LLM KV キャッシュ量子化ガイド 2026年版：KV Cache 量子化で溢れ回避
- ローカル LLM PC の最低スペック 2026年版：LLM 用 PC の全体最小構成
- VRAM とは何か 2026年版：VRAM の基本概念
よくある質問
- VRAM 8GB でローカルLLM は何 B まで動きますか
- 実用ラインは 7〜8B Q4_K_M（実ファイル約 4.5GB）までです。3B クラスは Q8 でも VRAM に余裕を持って収まり、Llama 3.2 3B で 60〜90 tok/sec 相当が期待できます。7B・8B は Q4_K_M でモデル本体が乗るものの、コンテキスト 8K で KV キャッシュ約 1.5GB が加算されるため、16K 以上に伸ばすと CPU オフロードが発生して速度が落ちます。14B は Q3_K_M でギリギリで、実質は CPU/iGPU 併用が前提になります。
- RTX 5060 Ti 8GB / RTX 4060 8GB / RX 9060 XT 8GB のどれが LLM で一番速いですか
- 8B Q4_K_M の tok/sec 相場感では RTX 5060 Ti 8GB（Blackwell、288 GB/s、CUDA + FA2）が最速で 45〜55 tok/sec、RTX 4060 8GB（Ada、272 GB/s、CUDA + FA2）が 35〜45 tok/sec、RX 9060 XT 8GB（RDNA 4、320 GB/s、ROCm/Vulkan）が 30〜42 tok/sec 相当です。帯域は RX 9060 XT が最も高いものの、ROCm と Flash Attention の熟成度で CUDA 系に一歩譲るのが 2026 年 8 月時点の相場です。
- 8GB VRAM で 14B モデルは動きますか
- Qwen 2.5 14B Q3_K_M（実ファイル約 6.7GB）は VRAM 8GB に載る計算ですが、KV キャッシュとオーバーヘッドで実運用は厳しく、コンテキストを 2K〜4K に切り詰めるか llama.cpp の部分オフロード（`-ngl 20〜25` 相当）で CPU 併用する運用になります。tok/sec は単体 GPU 運用時の 1/3 程度（10〜15 tok/sec）まで落ちます。14B を本気で使うなら 12GB 以上、快適に使うなら 16GB 以上を推奨します。
- VRAM が溢れると tok/sec はどれくらい落ちますか
- llama.cpp の部分 GPU オフロード（`-ngl` オプションで一部レイヤーを GPU、残りを CPU に配置）では、GPU 完全収容時の 1/2〜1/5 の tok/sec に落ちるのが典型です。8B Q4_K_M を GPU 100% で 45 tok/sec 出る環境で、8K → 32K コンテキストに拡張して KV キャッシュが VRAM を超過すると、部分オフロード発動で 12〜18 tok/sec 相当まで低下する例が公開実測ログで報告されています。CPU 側のメモリ帯域（DDR5-6000 で 96 GB/s 前後）が新たな律速要因になります。
- 8GB VRAM で快適に使うためのコツはありますか
- 3 つあります。第一に、Q4_K_M を基本に据え、精度が要る場面だけ Q5_K_M へ上げます。第二に、コンテキスト長を 8K に固定して KV キャッシュを予測可能に保ちます（32K は 8GB では非現実的）。第三に、[KV キャッシュ量子化](/blog/local-llm-kv-cache-quantization-guide-2026/)（Q8_0）を有効にして KV サイズを半減させます。この 3 点で 7〜8B Q4 のコンテキスト運用が明確に安定します。