ローカルLLM Reasoning モデル 推論速度ベンチマーク 2026年版：DeepSeek R1 / QwQ / gpt-oss thinking mode の thinking token 量と GPU 別 tok/sec・待ち時間

結論：Reasoning（Thinking）モデルの体感速度は「decode tok/sec」だけでは測れません。DeepSeek R1・QwQ 32B・gpt-oss（thinking mode）は1回の応答で数千〜数万トークンの thinking token を吐くため、同じ tok/sec でも通常モデルの数倍の秒数がかかります。RTX 5090（32GB GDDR7）は QwQ 32B Q4 で 40〜55 tok/s、DeepSeek R1 Distill Llama 70B Q4 で 8〜15 tok/s。Mac Studio M3 Ultra 512GB は gpt-oss 120B（MXFP4）で 30〜45 tok/s と桁で戦えますが、prefill が弱い弱点は reasoning では相対的に緩和されます（thinking の decode が支配的になるため）。Ryzen AI MAX+ 395（128GB UMA）は QwQ 32B で 8〜12 tok/s、reasoning 常用は正直つらい水準です。reasoning モデルを選ぶ基準は「decode tok/sec × thinking token 量 = 最終回答までの秒数」であり、tok/sec の数字を鵜呑みにして買うと期待値が大きくズレます。

ローカル LLM のベンチマークはこの1年で「decode tok/sec」中心に成熟してきました。しかし DeepSeek R1（2025-01 公開の distill 32B / 14B / 8B が特に個人配布で普及）、QwQ 32B、そして OpenAI gpt-oss の thinking mode というカテゴリの登場で、「同じ tok/sec でも待たされ方が全然違う」という新しい問題が生まれています。

本記事は、reasoning モデル特有の指標である thinking token 量 と 「最終回答までの秒数」 を軸に、GPU 別の実効速度を整理します。数値は 2026年7月時点の公開ベンチと Ollama / vLLM / MLX のコミュニティ報告を集約した「傾向値」で、モデルバージョン・量子化・バックエンドで揺れる前提で読んでください。

Reasoning モデルとは：thinking token が体感を支配する

reasoning モデルは、応答本文の前に <think>...</think> タグの中で自分の推論プロセスをテキストとして書き下ろす 設計になっています。これが chain-of-thought を「モデルの内側」から「モデルの出力そのもの」に持ち出したもので、以下のような特徴があります。

• 1 応答あたりの生成トークン量が桁で増える：通常モデルが 200〜500 トークンで返す質問に、reasoning モデルは 3,000〜20,000 トークン以上吐くことが珍しくない
• 最終回答は thinking の後：ユーザーが読むのは </think> 以降の数百トークンだが、そこに辿り着くまでに thinking を全部生成し切る必要がある
• thinking 量はタスク依存：軽い質問なら数百〜千トークン、数学問題やマルチステップ推論だと 2 万トークンを超える。gpt-oss thinking mode は low / medium / high の 3 段階で thinking 量を制御できる

つまり decode tok/sec が同じ 2 台でも、thinking 量が違えば体感時間はまるで別物になります。reasoning モデルのベンチはこの構造を組み込まないと現実を映しません。

reasoning とは別軸の話ですが、prefill（プロンプト処理）の律速要因については「ローカルLLM プロンプト処理（prefill）速度 GPU別ベンチマーク 2026年版」に整理してあります。通常モデルの decode tok/sec 比較は「Llama 3.3 70B GPU別トークン/秒 2026年版（5090 / PRO 6000 / Mac）」を先に見ておくと、本記事の数字の背景が分かりやすくなります。

計測指標：なぜ tok/sec だけでは不十分か

reasoning モデルの体感を測るなら、以下の 3 つを組み合わせて見ます。

指標	意味	reasoning での重み
decode tok/sec	1 トークンずつ生成する速度	従来通り重要。ただし単独では不十分
thinking token 量	1 応答あたり <think> 内で生成するトークン数	reasoning 特有。タスクによって数百〜数万で変動
最終回答までの秒数（TTFR = Time To Final Response）	送信から </think> 直後の本文が読めるまでの実時間	これがユーザー体感

概算式は以下です。

最終回答までの秒数 ≒ (thinking token 量 + 回答 token 量) ÷ decode tok/sec + prefill 秒

短い質問（入力数百 token）では prefill 秒はほぼ無視できるので、体感時間は事実上 decode の総所要秒数 に支配されます。ここが通常モデルとの決定的な違いで、Apple Silicon の「prefill が弱い」弱点が reasoning では相対的に緩和されるという逆転現象を生みます（thinking の decode が長すぎて prefill の差が埋もれる）。この点は後半で改めて触れます。

モデル別：thinking token 量の目安

Reasoning モデルは同じ入力でも thinking 量が大きく違います。2026年7月時点で個人ローカル配布が活発な主要モデルの目安を整理します。数値は Ollama コミュニティ / r/LocalLLaMA の実測レポートから集約した傾向値です。

モデル	パラメータ	標準的な thinking token 量（1応答）	難問時	特徴
DeepSeek R1 Distill Qwen 32B	32B dense	2,000〜6,000	15,000+	R1 系 distill の主力。個人 24GB VRAM で回る
DeepSeek R1 Distill Llama 70B	70B dense	3,000〜8,000	20,000+	R1 系最強 distill。24GB×2 か 48GB 必要
DeepSeek R1 Distill Llama 8B	8B dense	1,500〜4,000	10,000+	軽量。RTX 4060 8GB でも動く
QwQ 32B	32B dense	2,000〜10,000	25,000+	Alibaba 系。数学・コードで長考傾向
gpt-oss 20B（thinking: low）	21B MoE（active 3.6B）	500〜1,500	5,000	thinking 量を明示制御できる
gpt-oss 20B（thinking: medium）	同上	1,500〜4,000	12,000	標準設定
gpt-oss 20B（thinking: high）	同上	3,000〜10,000	20,000+	精度優先
gpt-oss 120B（thinking: medium）	117B MoE（active 5.1B）	1,000〜3,000	8,000	MoE で active 5.1B なので長考しても速い

ここから見える 2 つの含意があります。

1. gpt-oss の thinking 量は制御可能：low / medium / high の切り替えで応答の長さを直接調整できる。時間制約のあるエージェント用途では low、精度優先の数学タスクでは high、と使い分けられる。DeepSeek R1 や QwQ には現状この明示制御は無く、モデル自身の判断で thinking を伸ばす。

2. MoE モデルは thinking が「軽い」：gpt-oss 120B は総パラ 117B でも active 5.1B。thinking を吐く速度自体が dense 70B より速いので、同じ思考量なら短時間で終わる。gpt-oss の全体像とセットアップは「OpenAI gpt-oss 120B / 20B ローカル実行完全ガイド 2026年版」で詳しく扱っています。

GPU 別：reasoning モデルの decode tok/sec 目安

decode tok/sec は通常モデルと同じ律速（メモリ帯域）です。reasoning 特有のポイントは thinking を含む合計トークンをすべてこの速度で吐く必要がある こと。以下は Q4 量子化・4K 入力での傾向値で、モデルバージョン・バックエンドで揺れます。

QwQ 32B / DeepSeek R1 Distill Qwen 32B（Q4、必要 VRAM 約 20GB）

機材	メモリ帯域	decode tok/sec	thinking 5,000 token 時の待ち
RTX 5090 32GB GDDR7	1,792 GB/s	40〜55	約 100 秒
RTX 4090 24GB	1,008 GB/s	25〜35	約 170 秒
RTX PRO 6000 96GB	1,792 GB/s	40〜55	約 100 秒（VRAM に余裕）
Mac Studio M3 Ultra 512GB（MLX Q4）	819 GB/s	20〜30	約 220 秒
Ryzen AI MAX+ 395 128GB UMA	256 GB/s	8〜12	約 530 秒

RTX 5090 と Ryzen AI MAX+ 395 の差は decode で約 5 倍。thinking 量が 5,000 トークンあると、5090 で 100 秒（約 1 分40 秒）待つところが Strix Halo だと 9 分近く待つ 計算になります。難問で thinking が 20,000 トークンに伸びると、Strix Halo は 30 分超え。reasoning を日常使うには厳しい水準です。

DeepSeek R1 Distill Llama 70B（Q4、必要 VRAM 約 42GB）

機材	decode tok/sec	thinking 6,000 token 時の待ち
RTX 5090 32GB ×2（tensor parallel）	10〜18	約 400 秒
RTX PRO 6000 96GB 単体	10〜15	約 500 秒
Mac Studio M3 Ultra 512GB（MLX Q4）	8〜12	約 600 秒
Ryzen AI MAX+ 395 128GB UMA	3〜5	約 1,500 秒（実用外）

70B distill は最強クラスですが、thinking を含めると 5〜10 分待ちが標準になります。「精度は欲しいが時間はある」バッチ用途向き。対話用途で回すなら 32B distill が現実解です。tensor parallel の考え方は「Tensor / Pipeline / Data Parallel の違い 2026年版」に整理してあります。

gpt-oss 120B（MXFP4、必要 VRAM 約 65GB）

MoE で active 5.1B なので、パラメータ規模の割に decode が速いのが特徴です。

機材	decode tok/sec	thinking 2,000 token 時の待ち
RTX PRO 6000 96GB	45〜60	約 40 秒
H100 80GB	50〜70	約 35 秒
Mac Studio M3 Ultra 512GB	30〜45	約 60 秒
Strix Halo（Ryzen AI MAX+ 395 128GB）	25〜35	約 70 秒
RTX 5090 32GB 単体	–	メモリ不足で実行不可

gpt-oss 120B は「Strix Halo でも 25〜35 tok/s 出る」のが強烈で、thinking mode を medium で使う限りは reasoning 用途でも十分実用的です。ここが Reasoning モデルの現時点のスイートスポットで、「Strix Halo は QwQ 32B ではきついが gpt-oss 120B では戦える」という逆転が起きます。理由は MoE の active 5.1B が Strix Halo の帯域 256 GB/s でも回せるからです。unified memory と VRAM の違いは「unified memory と NVIDIA VRAM の違い（LLM実行の観点で） 2026年版」に書きました。

実運用シナリオ：総所要時間で比較する

reasoning モデルを 3 つの実運用シナリオで見ると、GPU の選び方がはっきりします。

シナリオ A：数学問題（thinking 15,000 token + 回答 500 token）

モデル	機材	総トークン	所要時間
QwQ 32B Q4	RTX 5090	15,500	約 5 分
QwQ 32B Q4	Mac Studio M3 Ultra	15,500	約 9 分
QwQ 32B Q4	Strix Halo	15,500	約 25 分
gpt-oss 120B（thinking: high）	RTX PRO 6000	8,500	約 2 分 30 秒
gpt-oss 120B（thinking: high）	Mac Studio M3 Ultra	8,500	約 3 分 30 秒

数学問題では gpt-oss 120B（MoE + high thinking）が RTX PRO 6000 と Mac Studio の両方で最速です。QwQ 32B は精度は高いが thinking が長すぎて Strix Halo だと現実的でない。

シナリオ B：コード生成（thinking 3,000 token + 回答 800 token）

モデル	機材	総トークン	所要時間
DeepSeek R1 Distill 32B Q4	RTX 5090	3,800	約 80 秒
DeepSeek R1 Distill 32B Q4	Mac Studio M3 Ultra	3,800	約 150 秒
gpt-oss 20B（thinking: medium）	RTX 5060 Ti 16GB	3,800	約 60 秒（active 3.6B が効く）
QwQ 32B Q4	RTX 5090	3,800	約 80 秒

コード生成は thinking を medium 級で抑えると RTX 5060 Ti + gpt-oss 20B が現実解になります。16GB VRAM で reasoning ができる、というのが gpt-oss 20B の破壊力です。

シナリオ C：エージェント常用（thinking 5,000 token × 1 セッション 20 往復）

エージェントは1セッションで往復回数が多いため、1回あたりの reasoning 待ちが積み上がります。

モデル	機材	1往復秒数	20往復合計
gpt-oss 20B（low）	RTX 5060 Ti	約 10 秒	約 3 分
gpt-oss 120B（medium）	RTX PRO 6000	約 25 秒	約 8 分
QwQ 32B	RTX 5090	約 100 秒	約 33 分
QwQ 32B	Mac Studio M3 Ultra	約 220 秒	約 73 分

エージェントで QwQ 32B を回すと 1 セッションで 30 分〜1 時間コースになりがちで、体感的に厳しい。エージェント用途では gpt-oss thinking: low が現時点の実用解、精度が必要なら medium で我慢する、という選び方が合理的です。

reasoning 用途の GPU 選び方：3 パターンで整理

上記を踏まえた reasoning 用途の GPU 選定は、以下の 3 パターンに集約されます。

パターン 1：予算 30〜50 万・reasoning 主体で個人利用

• 本命：RTX 5090 32GB
• 動くモデル：QwQ 32B / DeepSeek R1 Distill 32B / gpt-oss 20B（全 thinking mode）
• 得意領域：単発の数学問題・コード生成・短対話
• 弱点：70B distill は VRAM 不足（RTX 5090 2枚だと 60〜80 万で tensor parallel の道あり）

パターン 2：予算 60〜120 万・120B クラスまで見据える

• 本命：RTX PRO 6000 96GB か Mac Studio M3 Ultra 512GB
• 動くモデル：gpt-oss 120B / DeepSeek R1 Distill 70B / QwQ 32B（全部）
• RTX PRO 6000 は decode 帯域と NVFP4 サポートで最速、Mac Studio は電気代と静音・省設置スペースが強み
• 「精度優先の reasoning 母艦」ならこの2択、詳細は「Mac Studio M3 Ultra 512GB ローカルLLM ガイド 2026年版」

パターン 3：予算 40〜50 万・gpt-oss 120B を静かに回したい

• 本命：Strix Halo（Ryzen AI MAX+ 395 128GB UMA）ミニPC
• 動くモデル：gpt-oss 120B（thinking: medium で 25〜35 tok/s）は快適、QwQ 32B や 70B distill は「動くが遅い」
• 消費電力 120W 級で 24 時間稼働向き
• reasoning 常用機というよりは「MoE モデル特化の低電力サーバ」の位置付け

MoE と thinking の相性：時代の変わり目

reasoning モデル × MoE の組み合わせは、2026 年前半に起きた最大の潮流変化です。gpt-oss 120B が Strix Halo で 25〜35 tok/s、Mac Studio で 30〜45 tok/s 出るという事実は、「reasoning は VRAM 帯域律速を、MoE の active パラメータの小ささで避けられる」という設計の勝利です。

• dense 70B reasoning：精度は最高、だが decode が遅く thinking で 5〜10 分待つのが常態
• MoE 100B級 reasoning（gpt-oss 120B）：精度は近く、decode は 3〜5 倍速く、Strix Halo でも実用

これは Llama 4 系や Qwen 3 系の MoE 化にも波及していて、2026 後半以降の主要 reasoning モデルは MoE が主流になる見込みです。ハードを買う判断でも、「dense 70B に張るより MoE 100B級を回せる帯域・容量の機材」を優先する方が長持ちします。次世代ハードの待ち買いタイミングは「Nova Lake と Zen 6 で待つか、いま買うか 2026年版」で整理しています。

Apple Silicon の逆転現象：prefill が弱くても reasoning では戦える

冒頭で少し触れましたが、reasoning モデルでは Apple Silicon の「prefill が弱い」弱点が相対的に緩和されます。理由は以下です。

• prefill は「入力を1回読む」時間 → 入力 500 token なら 1〜3 秒レベル
• decode は「thinking + 回答を吐き続ける」時間 → 5,000 token 生成で数分レベル

つまり decode の総所要秒数が体感の 95%以上を占めるので、prefill 差が体感に埋もれます。Mac Studio M3 Ultra は decode 帯域 819 GB/s と unified memory 容量 512GB で gpt-oss 120B・DeepSeek R1 Distill 70B の両方を単機で回せます。reasoning 用の母艦として Mac Studio が改めて評価される理由がここです。

一方、RAG・長文要約のように 入力が数万トークンに達する用途 では prefill 秒数も無視できなくなるので、prefill 側の律速も気にする必要があります。この境界は「ローカルLLM プロンプト処理（prefill）速度 GPU別ベンチマーク 2026年版」に詳しく整理してあります。量子化フォーマットと reasoning 精度の関係は「ローカルLLM 量子化フォーマットとは 2026年版」を参照してください。

まとめ：reasoning は「decode tok/sec × thinking token 量」で決まる

reasoning モデルを 1 行でまとめると 「体感時間は decode tok/sec × thinking token 量、tok/sec の数字を鵜呑みにするな」 です。

• QwQ 32B / DeepSeek R1 Distill 32B は 24GB VRAM で動くが、thinking 5,000〜15,000 token で 2〜5 分待ちが常態
• gpt-oss 120B（MoE、thinking mode）は decode が速く、Strix Halo・Mac Studio でも実用速度
• Apple Silicon は reasoning で相対有利（prefill 差が埋もれる）
• エージェント用途は thinking: low を選び、精度勝負は 70B distill か gpt-oss 120B high thinking

「decode tok/sec が同じなら体感も同じ」は通常モデルの話で、reasoning では通用しません。次にローカル LLM 機を選ぶときは、想定モデルの thinking token 量と decode tok/sec の掛け算で「1 応答何秒か」を必ず試算してから買ってください。

入手先・関連商品

当サイトは Amazon.co.jp アソシエイト・プログラムに参加予定です。下記リンク経由で購入された場合、紹介料を受け取ることがあります。読者の負担は増えません。リンクは記事評価とは独立しており、編集判断には影響しません。

記事内で挙げた reasoning 用途の GPU 選定 3 パターンに対応する代表機材です。

• GeForce RTX 5090 32GB を Amazon.co.jp で見る（パターン1：32B distill / gpt-oss 20B を単機で回す本命）
• Mac Studio M3 Ultra を Apple公式サイトで見る（パターン2：120B / 70B distill 母艦。省電力・静音）
• Ryzen AI MAX+ 395 ミニPC（Strix Halo）を Amazon.co.jp で見る（パターン3：gpt-oss 120B を 120W 級で常用）

---

あなたに合うPCを診断する

用途や予算をもう少し細かく入力すると、3つの候補構成を提案します。

→ 診断スタート

関連記事

• OpenAI gpt-oss 120B / 20B ローカル実行完全ガイド 2026年版
• Llama 3.3 70B GPU別トークン/秒 2026年版（5090 / PRO 6000 / Mac）
• ローカルLLM プロンプト処理（prefill）速度 GPU別ベンチマーク 2026年版