gpt-oss-20b は16GBのMacで動くか:M4実測
gpt-oss-20b を Mac mini M4 16GB で実測。文脈0は37.1 tok/s、4Kでメモリ不足、-ngl 20で8K 28.5 tok/s
- #gpt-oss
- #gpt-oss-20b
- #Mac mini M4
- #16GB
- #Apple Silicon
- #llama.cpp
- #Metal
- #MXFP4
- #RTX 4070
- #ローカルLLM
本記事は Amazon.co.jp および各販売店のアフィリエイトリンクを含む場合があります。推奨は性能・コスパ・実機ベンチマーク基準で編集判断しており、提供記事は受け付けていません。詳細は プライバシーポリシー をご覧ください。
結論:gpt-oss-20b は 16GB の Mac でも動きます。ただし文脈が伸ばせません。Mac mini M4 16GB では全層 GPU で生成 37.1 tok/s 出ました。一方で、文脈を 4K 積んだだけで Metal のメモリ不足で止まります。16GB の Mac で使うなら、層の一部を CPU に回して(-ngl 20 で 8K、生成 28.5 tok/s)、読み込みの遅さを受け入れる形になります。長い文脈まで快適に使いたいなら、24GB 以上の Mac か、VRAM に収まる GPU を選ぶほうが向いています。
OpenAI は gpt-oss-20b を「16GB のメモリで動く」モデルとして公開しています(Hugging Face のモデルカード)。総パラメータ 21B、1 トークンごとに使うのは 3.6B の MoE で、配布されている MXFP4 の GGUF は 12,109,566,624 バイト(約 12.1GB)です。
では 16GB の Mac で実際に何ができるのか。手元の Mac mini M4 16GB と RTX 4070 12GB で測りました。
gpt-oss 全体(120B を含む)の仕組みや必要な機材の一覧は「OpenAI gpt-oss 120B / 20B ローカル実行完全ガイド」にまとめています。この記事は 20B を 16GB の Mac で動かす場合に絞っています。
先に結果:16GB の Mac で gpt-oss-20b を動かすと
| 設定 | 文脈 | 結果 |
|---|---|---|
全層 GPU(-ngl 99) | 0 | 動く。生成 37.1 tok/s、読み込み 450.6 tok/s |
| 全層 GPU | 4K / 8K / 16K / 32K | 止まる(Metal のメモリ不足) |
24 層のうち 20 層を GPU(-ngl 20) | 8K | 動く。生成 28.5 tok/s、読み込み 93.1 tok/s |
24 層のうち 16 層を GPU(-ngl 16) | 8K | 動く。生成 24.9 tok/s、読み込み 55.7 tok/s |
「16GB で動く」は、文脈が空に近い状態では正しい表現です。ただし会話を数往復したり、ファイルを読ませたりして文脈が 4K を超えると、全層 GPU のままでは続けられません。
保有実機での実測:Mac mini M4 16GB
条件:2026-11-13、Mac mini M4 16GB(メモリ帯域 120GB/s、macOS 27.2)、llama.cpp(コミット cd959bae9、Homebrew 版、Metal)、モデルは ggml-org/gpt-oss-20b-GGUF の gpt-oss-20b-MXFP4.gguf。flash attention on、KV キャッシュは FP16。llama-bench で文脈(depth)を積んだ後に読み込み 512 トークンと生成 128 トークン、2 回平均です。メモリは計測中の memory_pressure の空き率の最小値と、vm_stat の swap 書き出し(Swapouts)の増分で見ました。消費電力・温度と出力の品質は測っていません。
全層を GPU に置いた場合
| 文脈 | 読み込み tok/s | 生成 tok/s | KV キャッシュ | 空き率(最小) | swap |
|---|---|---|---|---|---|
| 0 | 450.6 | 37.1 | 12 MiB | 10% | なし |
| 4K | 止まる | — | 108 MiB | — | — |
| 8K | 止まる | — | 204 MiB | — | — |
| 16K | 止まる | — | 396 MiB | — | — |
| 32K | 止まる | — | 780 MiB | — | — |
止まったときのエラーは、どれも Metal の kIOGPUCommandBufferCallbackErrorOutOfMemory でした。
原因は KV キャッシュではありません。モデル本体の大きさです。gpt-oss-20b は 24 層のうち半分が直近 128 トークンだけを見る sliding window で、KV キャッシュは文脈 32K でも 780MiB しかありません。一方、Metal 側に置くモデルは 10,949MiB(10,362MiB + 587MiB)あります。16GB の Mac で Metal が GPU に回せる上限(recommendedMaxWorkingSetSize)は 12,713MB、MiB に直すと約 12,124MiB で、モデルを置いた時点で残りは約 1,170MiB です。ここに計算用のバッファ(約 420MiB)と KV キャッシュが乗ります。
文脈 4K の時点で llama.cpp が Metal に確保した量の合計は約 11,500MiB で、計算上はまだ上限の内側でした。それでも止まりました。上限ぎりぎりでは OS やほかのアプリが GPU に使うぶんで足りなくなると見ています。ここは推定です。いずれにしても、全層 GPU では文脈を伸ばす余地がほとんど残っていません。
なお、文脈 0 の生成 37.1 tok/s は、帯域から見た上限の 6 割ほどです。1 トークンに使う 3.6B ぶんの重みは約 2.1GB(12.1GB × 3.6 / 20.9 の概算)で、120GB/s ÷ 2.1GB ≒ 58 tok/s が上限の目安になります。同じ Mac で dense の Qwen3 14B は上限の 90% 出ていました。MoE の経路選択などのぶん効率は落ちます。ただし読む量が少ないので、14B(12.0 tok/s)より 3 倍速く動きます。
層の一部を CPU に回した場合(文脈 8K)
| GPU に置く層 | 読み込み tok/s | 生成 tok/s | GPU 側のモデル | 空き率(最小) | swap 書き出し |
|---|---|---|---|---|---|
20 / 24 層(-ngl 20) | 93.1 | 28.5 | 8,790 MiB | 13% | 約 360MiB |
16 / 24 層(-ngl 16) | 55.7 | 24.9 | 7,063 MiB | 15% | 約 2.3GiB |
-ngl 20 にすると、残り 4 層ぶん(約 2.1GiB)が CPU 側に移ります。文脈 8K が動きました。生成は 37.1 から 28.5 tok/s へ 2 割強の低下で済みますが、読み込みは 93.1 tok/s で、全層 GPU の文脈 0(450.6 tok/s)の約 5 分の 1 です。-ngl 16 まで下げると生成 24.9、読み込み 55.7 tok/s で、swap の書き出しも約 2.3GiB に増えました。CPU 側に移した重みを置くために、メインメモリの空きが削られるためと見ています。16K・32K の部分オフロードと、エキスパートだけを CPU に回す --n-cpu-moe は試していません。
RTX 4070 12GB で同じモデルを動かすと
比較のため、RTX 4070 12GB(帯域 504GB/s)でも同じ GGUF を測りました。llama.cpp は同じコミットを CUDA でビルドしたもので、条件は Mac と同じです。VRAM は nvidia-smi で見た計測中の最大値です。
| 文脈 | 読み込み tok/s | 生成 tok/s | KV キャッシュ | VRAM(最大) |
|---|---|---|---|---|
| 0 | 5,331.9 | 139.2 | 12 MiB | 11,702 MiB |
| 8K | 4,770.3 | 129.7 | 204 MiB | 11,716 MiB |
| 32K | 244.3 | 31.2 | 780 MiB | 11,684 MiB |
4070 は全層を GPU に置いたまま 8K でも 129.7 tok/s で動きました。Mac が止まる文脈でも動くのは、12GB のほぼ全部をモデルに使えるからです(起動時の空きは 11,090MiB)。ただし 32K は別です。止まりはしないものの、読み込み 244.3、生成 31.2 tok/s に急に落ちました。モデル 10,949MiB に KV 約 800MiB と計算用バッファ 448MiB を足すと約 12,200MiB で、起動時の空き 11,090MiB を超えます。VRAM から溢れて Windows の共有 GPU メモリ(メインメモリ)を使って動いたと見ています。VRAM の使用量が 11,700MiB 前後で頭打ちになっていたのもこの見方と合います。
文脈 0 で比べると、生成は 4070 が Mac の 3.8 倍(139.2 / 37.1)、読み込みは 11.8 倍(5,331.9 / 450.6)でした。
KV キャッシュを量子化したときの精度(4070)
KV キャッシュを q8_0 / q4_0 にしたときの精度も、4070 で llama-perplexity を使って測りました(2026-11-13、llama.cpp cd959bae9、wikitext-2-raw の test、文脈 4,096 で 40 チャンク)。「top-1 一致」は、最も確率の高いトークンが FP16 の KV のときと同じだった割合です。
| KV | Perplexity | FP16 比 | 平均 KLD | top-1 一致 |
|---|---|---|---|---|
| FP16 | 1836.79 | 基準 | — | — |
| q8_0 | 1845.98 | +0.501% | 0.047647 | 88.27% |
| q4_0 | 1881.49 | +2.434% | 0.301466 | 63.89% |
同じ条件の Qwen3 8B / 14B では q8_0 が +0.06% 以下、q4_0 が +0.4〜0.5% だったので、gpt-oss-20b は KV の量子化で精度が動きやすいモデルです。ただし gpt-oss-20b はチャット形式の入力を前提にしていて、wikitext のような生のテキストでは Perplexity が 1,837 と極端に高く出ます。予測の分布が平らなぶん差が大きく見えている可能性もあり、この表だけで「量子化すると使えない」とまでは言えません。Mac では測っていません(文脈 4K で Metal のメモリ不足になるため)。
16GB の Mac で使うときの設定
16GB の Mac で gpt-oss-20b を使うなら、文脈の長さに合わせて GPU に置く層を減らします。llama.cpp の llama-server なら次のような形です。
# 短いやり取りだけなら全層 GPU(文脈を 4K 未満に抑える)
llama-server -m gpt-oss-20b-MXFP4.gguf -ngl 99 -fa on -c 3072
# 文脈 8K まで使う。読み込みは遅くなる
llama-server -m gpt-oss-20b-MXFP4.gguf -ngl 20 -fa on -c 8192
測ったのは -ngl を 99 / 20 / 16 にした場合だけで、-c 3072 が収まるかは確かめていません。止まる場合は値を下げてください。LM Studio では読み込み設定の「GPU Offload」、Ollama では num_gpu パラメータが同じ役割(GPU に置く層の数)を持ちますが、どちらも手元では試していません。
KV キャッシュの量子化(q8_0 / q4_0)は、gpt-oss-20b ではあまり効きません。文脈 32K でも KV は 780MiB で、q4_0 にしても減るのは 560MiB ほどです。足りないのは KV ではありません。モデル本体を置く場所です。だから層を減らすほうが効きます。しかも上の 4070 の測定では、gpt-oss-20b は q4_0 で Perplexity +2.4%、top-1 一致 64% と精度への影響が大きく出ました。量子化するとしても q8_0 までにとどめるのが無難です。KV 量子化が効く場面は「ローカルLLM KV キャッシュ量子化ガイド」で、同じ Mac の Qwen3 14B を例に測っています。
macOS には Metal の上限を引き上げる iogpu.wired_limit_mb という設定もありますが、OS に残すメモリが減るので、ほかのアプリを含めた動作が不安定になるおそれがあります。これも試していません。
何 GB の Mac を選ぶか
全層 GPU で長い文脈まで使うのに必要な量は、文脈 32K でモデル 10,949MiB・KV 約 800MiB・計算用バッファ約 450MiB の合計約 12,200MiB(約 11.9GiB)です。16GB の Mac で Metal が使える上限は約 12,124MiB です。これを超えます。だから 16GB では収まりません。
24GB の Mac は持っていないので、ここからは計算です。16GB の Mac は約 74%(12,713MB / 16GiB)を GPU に回せました。24GB も同じ割合だとすると約 17.8GiB で、文脈 32K に必要な約 11.9GiB に対して 6GiB ほどの余裕があります。gpt-oss-20b を日常的に使う前提なら、24GB 以上を勧めます。
| 機材 | gpt-oss-20b の使える範囲 | 根拠 |
|---|---|---|
| Mac 16GB(M4) | 全層 GPU は文脈 4K 未満。8K は -ngl 20 で生成 28.5 tok/s | 実測 |
| Mac 24GB 以上 | 全層 GPU で 32K まで載る見込み | 計算(未計測) |
| RTX 4070 12GB | 8K まで生成 130 tok/s 前後、32K は 31 tok/s に落ちる | 実測 |
すでに 16GB の Mac を持っていて試したいだけなら、短い文脈で動かして速さを確かめ、長い文脈が必要になったら -ngl を下げる、という順番で十分です。gpt-oss-20b のために新しく買うなら、16GB は避けて 24GB 以上にしておくのが無難です。
Mac のメモリ容量の選び方全般は「Mac の Unified Memory は何 GB 必要か」、M4 で 8B / 14B を動かした値は「Mac mini M4 / M4 Pro でローカルLLMはどこまで動くか」に載せています。
まとめ
- gpt-oss-20b は 16GB の Mac mini M4 で読み込めて、文脈 0 なら全層 GPU で生成 37.1 tok/s
- 文脈を 4K 積むと Metal のメモリ不足で止まる。原因は KV キャッシュではなく、約 11GB を占めるモデル本体
-ngl 20なら 8K が動く。生成は 28.5 tok/s だが、読み込みは約 5 分の 1 に落ちる- RTX 4070 12GB は 8K まで約 130 tok/s。32K では VRAM から溢れて 31 tok/s
- KV キャッシュの量子化はメモリの節約が小さく、精度への影響は大きめ(4070 で q4_0 が Perplexity +2.4%)。使うなら q8_0 まで
- gpt-oss-20b を目的に Mac を買うなら 24GB 以上(計算上、32K まで全層 GPU に載る)
入手先・関連商品
当サイトは Amazon.co.jp アソシエイト・プログラムに参加しています。下記リンク経由で購入された場合、紹介料を受け取ることがあります。読者の負担は増えません。リンクは記事評価とは独立しており、編集判断には影響しません。
- Mac mini M4 24GB を Amazon.co.jp で探す — gpt-oss-20b を長い文脈まで全層 GPU で使うなら 24GB 以上(計算上の見込み)
- MacBook Air M5 24GB を Amazon.co.jp で探す — 持ち歩いて使うならこちら。M5 では測っていないので、M4 の結果からの見込みです
- GeForce RTX 5060 Ti 16GB を Amazon.co.jp で探す — Windows で使うなら、モデルと 32K の KV が VRAM に収まる 16GB 以上(12GB の 4070 は 32K で溢れた)
あなたに合うPCを診断する
用途や予算をもう少し細かく入力すると、3つの候補構成を提案します。
→ 診断スタート
関連記事
よくある質問
- gpt-oss-20b は 16GB の Mac で動きますか?
- 読み込みはでき、短い文脈なら速く動きます。Mac mini M4 16GB と llama.cpp(Metal)で、全層を GPU に置くと文脈 0 で生成 37.1 tok/s でした。ただし文脈を 4K 積んだ時点で Metal のメモリ不足(kIOGPUCommandBufferCallbackErrorOutOfMemory)で止まり、8K・16K・32K も同じでした。長い会話や長いプロンプトを扱うなら、層の一部を CPU に回す設定(-ngl を下げる)が必要です。
- 16GB の Mac で gpt-oss-20b の文脈を伸ばすにはどうしますか?
- llama.cpp なら -ngl(GPU に置く層の数)を 24 層から下げます。-ngl 20 で文脈 8K が動き、生成 28.5 tok/s、8K の後の読み込み(prefill)は 93.1 tok/s でした。-ngl 16 では生成 24.9、prefill 55.7 tok/s です。生成の落ち方より prefill の落ち方が大きく、全層 GPU の文脈 0(450.6 tok/s)の約 5 分の 1 になります。
- gpt-oss-20b を使うなら Mac のメモリは何 GB を選べばよいですか?
- 長い文脈まで全層 GPU で使うなら 24GB 以上を勧めます。文脈 32K のときに必要なのは、モデル 10,949MiB・KV キャッシュ約 800MiB・計算用バッファ約 450MiB の合計約 12,200MiB(約 11.9GiB)で、16GB の Mac で Metal が使える上限(12,713MB = 約 12,124MiB)を超えます。24GB は持っていないので測っていませんが、16GB と同じ割合(約 74%)を GPU に回せるとすれば約 17.8GiB で、6GiB ほどの余裕が出る計算です。