NPU (Snapdragon X2 Elite Hexagon / AMD XDNA 2 / Intel AI Boost / Apple Neural Engine) でローカルLLM は実用になるか 対応状況比較 2026年版：Copilot+ PC の 45 TOPS で 3B・8B を動かせるか、CPU / iGPU / dGPU との住み分け
Copilot+ PC の NPU（Snapdragon X2 Hexagon / AMD XDNA 2 / Intel AI Boost / Apple Neural Engine）でローカルLLM は実用になるのか、対応フレームワーク・動くモデルサイズ・tok/sec・CPU/iGPU/dGPU との住み分けを整理します。80 TOPS の Snapdragon X2 で 3B が 20 tok/sec、8B が QNN 経由で 15 tok/sec 相場感、多くの人が結局 iGPU で回している 2026 年 8 月時点の実情を数値で示します。
- #NPU
- #Snapdragon X2 Elite
- #AMD XDNA 2
- #Intel AI Boost
- #Apple Neural Engine
- #ローカルLLM
- #Copilot+ PC
- #QNN SDK
- #Ryzen AI Software
- #Windows AI Foundry
本記事は Amazon.co.jp および各販売店のアフィリエイトリンクを含む場合があります。推奨は性能・コスパ・実機ベンチマーク基準で編集判断しており、提供記事は受け付けていません。詳細は プライバシーポリシー をご覧ください。
結論：NPU 単独でローカル LLM を回すのは、2026 年 8 月時点では限定的です。Snapdragon X2 Elite の Hexagon NPU（80 TOPS）は QNN SDK + Genie SDK 経由で Llama 3 8B が 15〜20 tok/sec 相場感で動きますが、対応モデルは Qualcomm 検証済ビルドに限られます。Apple Neural Engine は MLX 経由の一部モデル、Intel AI Boost は OpenVINO 経由の 3B Q4、AMD XDNA 2 は Ryzen AI Software 経由の対応モデルに限られ、汎用の llama.cpp / Ollama では NPU 加速が受けられません。多くの Copilot+ PC ユーザーは結果的に iGPU（Vulkan / OpenVINO）で LLM を回しています。NPU は「3B クラスを常駐で回す・低電力でチャットする」役割で、8B 以上を本格運用するなら iGPU 以上を選ぶのが実情に沿った判断です。
「Snapdragon X2 Elite の 80 TOPS で LLM は動くのか」「Copilot+ PC を買えばローカル LLM が快適に使えるのか」という質問は、2026 年に入ってから急増しました。NPU の概念そのものは NPU (Neural Processing Unit) とは何か 2026年版 に整理していますが、本記事では「NPU で LLM がどこまで動くか」だけを切り出して、対応フレームワーク・動くモデルサイズ・tok/sec・iGPU/dGPU との住み分けを整理します。
本記事の位置付け：NPU の LLM 推論は 2026 年時点で実装が急速に動いている領域で、フレームワークとモデル対応が四半期ごとに更新されます。数値は Qualcomm 公式デモ・Microsoft Windows AI Foundry の対応モデル一覧・AMD Ryzen AI Software（GAIA）ドキュメント・Apple MLX リポジトリの実測ログを 2026 年 8 月時点で集約した相場感です。iris-lab では Snapdragon X2 Elite 搭載機の入手が限定的なため、X2 の数値は Qualcomm と主要レビュアーの整理値を優先しています。
NPU 4 派閥の理論性能と現実の対応状況
まず 4 派閥の NPU の TOPS 値と、LLM 対応フレームワークの現状を並べます。
| NPU | 搭載 SoC | TOPS（INT8 理論） | LLM 対応主要経路 | 対応の熟成度 |
|---|---|---|---|---|
| Snapdragon X2 Elite Hexagon | Snapdragon X2 Elite（Oryon v3） | 80 TOPS | QNN SDK + Genie SDK / Windows AI Foundry（DirectML） | 対応モデル限定・実運用可 |
| AMD XDNA 2 | Ryzen AI 300 / AI PRO 400 | 50〜60 TOPS | Ryzen AI Software（GAIA / Lemonade Server）/ ONNX Runtime + DirectML | 対応モデル限定・成長途上 |
| Intel AI Boost（NPU 4） | Core Ultra 200V（Lunar Lake） | 48 TOPS | OpenVINO + Intel NPU Acceleration Library | 3B クラスまで実用、8B は限定的 |
| Apple Neural Engine | M4 / M4 Pro / M4 Max / A18 Pro | 38 TOPS | Core ML / MLX（Apple Silicon 特化） | MLX 経由の一部モデルで動作、Neural Engine 単独稼働は限定的 |
TOPS 値は 80 vs 38 で 2 倍以上の差がありますが、実効の LLM tok/sec は 4 派閥ともほぼ同じ帯（3B で 20〜35 tok/sec 相場感）に収束します。理由は 3 つあります。
- メモリ帯域が律速：NPU の理論演算性能を出し切るには LPDDR5X-8533（帯域 100〜200 GB/s）が追いつきません。TOPS は演算のピーク値で、実効 tok/sec は帯域で頭打ちになります
- 量子化フォーマット依存：INT8 の TOPS は Q4_K_M の GGUF モデルには直接効きません。NPU 用に再量子化されたモデル（Qualcomm の QMFP4 / AMD の RAI 形式）でないと NPU 加速が発動しない場合があります
- フレームワーク成熟度の差：Qualcomm QNN SDK は 2024 年から Snapdragon X 対応で先行、Apple MLX は 2023 年末公開、Intel OpenVINO は 2020 年代前半から成熟、AMD Ryzen AI Software は 2024 年後半から本格対応。この差が実効 tok/sec の差より大きな影響を持つ場合があります
Snapdragon X2 Elite Hexagon NPU：QNN + Genie SDK の 80 TOPS
Snapdragon X2 Elite の Hexagon NPU は 4 派閥で最高の 80 TOPS を持ちます。Qualcomm 公式の推論フレームワークは QNN SDK（Qualcomm Neural Network SDK）+ Genie SDK（LLM 特化ランタイム） の 2 段構成で、対応モデルは Qualcomm AI Hub にリスト化されています。
Snapdragon X Elite（第 1 世代）の実測相場
| モデル | 量子化 | tok/sec 相場感 | 消費電力 |
|---|---|---|---|
| Llama 3.2 3B | QMFP4（NPU 用 4bit） | 約 20 tok/sec（Qualcomm 公式デモ） | NPU のみで 2〜3W |
| Llama 3 8B | QMFP4 | 約 15 tok/sec 相当 | NPU のみで 3〜4W |
| Phi-3 Mini 3.8B | QMFP4 | 約 25 tok/sec 相当 | NPU のみで 2〜3W |
第 2 世代の Snapdragon X2 Elite（Oryon v3、80 TOPS）では、第 1 世代（45 TOPS）比で NPU 演算性能が 1.7 倍前後になっており、Llama 3 8B が 20〜25 tok/sec 相当まで伸びる相場感が Qualcomm 公表・主要レビュアーの整理値で示されています。
制約：QNN 対応モデルに限られる
Snapdragon の NPU 経由 LLM は、Qualcomm AI Hub 掲載モデル（Llama 3 / Phi-3 / Mistral 系の QMFP4 版）に限られます。HuggingFace の任意モデルを llama.cpp で NPU 実行することは 2026 年 8 月時点でできません。llama.cpp の Arm64 build は動きますが、NPU 加速は受けられず CPU（Oryon v3 12 コア）実行になり、8B Q4_K_M で 8〜11 tok/sec 相場感に留まります。「NPU で動く」ことと「任意の GGUF モデルが動く」ことの間には大きな距離がある、というのが実情です。Snapdragon X2 Elite 搭載ノートの選び方は Snapdragon X2 Elite 搭載ノート選び方 2026年版 に整理しています。
AMD XDNA 2：Ryzen AI Software + GAIA の 50 TOPS
Ryzen AI 300（Strix Point）の XDNA 2 NPU は 50 TOPS（Ryzen AI 9 HX 375 では 60 TOPS） で、AMD の LLM 対応は Ryzen AI Software と、その上に載る GAIA（Generative AI Interface Assistant）+ Lemonade Server の 2 層構造です。
GAIA / Lemonade Server 経由の実測相場
| モデル | 量子化 | tok/sec 相場感 | 実行経路 |
|---|---|---|---|
| Llama 3.2 3B | ONNX INT4 | 約 15〜20 tok/sec | XDNA 2 NPU + Ryzen AI Software |
| Llama 3.1 8B | ONNX INT4 | 約 8〜12 tok/sec | XDNA 2 NPU + Ryzen AI Software |
| Phi-3 Mini 3.8B | ONNX INT4 | 約 18〜25 tok/sec | XDNA 2 NPU + Ryzen AI Software |
XDNA 2 の NPU 経由は、内蔵 GPU の Radeon 890M（RDNA 3.5）+ Vulkan バックエンドで llama.cpp を回した場合の 18〜24 tok/sec に対して、絶対値では劣ります。ただし消費電力は NPU 経由が 3〜5W、iGPU 経由が 25〜40W と大きな差があり、バッテリー駆動の常駐チャット用途では NPU 経由が有利 です。
GAIA / Lemonade Server の位置付け
GAIA は AMD が 2025 年に公開したオープンソースの Windows ネイティブ LLM フロントエンドで、Ollama ライクなインターフェースを提供します。バックエンドの Lemonade Server が Ryzen AI Software 経由で XDNA 2 NPU を呼び出す構造です。対応モデルは Llama / Phi / Mistral / Qwen の一部で、Ryzen AI 300 の実運用でローカル LLM を回すなら 2026 年 8 月時点では GAIA が最も現実的な選択肢です。3 派閥の Copilot+ PC を横断で比較した詳細は Copilot+ PC 3強実測比較 2026年版 に整理しています。
Intel AI Boost（NPU 4）：OpenVINO 経由の 48 TOPS
Core Ultra 200V（Lunar Lake）の AI Boost NPU（第 4 世代）は 48 TOPS で、Intel の LLM 対応は OpenVINO + Intel NPU Acceleration Library で行います。
OpenVINO 経由の実測相場
| モデル | 量子化 | tok/sec 相場感 | 実行経路 |
|---|---|---|---|
| Llama 3.2 3B | OpenVINO IR INT4 | 約 12〜18 tok/sec | NPU 4 + Intel NPU Acceleration Library |
| Phi-3 Mini 3.8B | OpenVINO IR INT4 | 約 15〜22 tok/sec | 同上 |
| Llama 3.1 8B | OpenVINO IR INT4 | 約 6〜9 tok/sec | 同上（実用ライン下限） |
Intel AI Boost は 4 派閥の中では TOPS 値が最低（48）ですが、OpenVINO の成熟度が高く、3B〜4B クラスの Q4 量子化モデルは実用速度で動きます。8B は tok/sec が下がるため、Arc 140V（Xe2 iGPU）+ OpenVINO 経由で回す方が実効速度は高くなります（8B Q4 で 12〜16 tok/sec）。NPU / iGPU の切り替えは OpenVINO のデバイス指定（AUTO:NPU,GPU）で行います。
Apple Neural Engine：MLX 経由の 38 TOPS
Apple Neural Engine（M4 世代で第 16 世代、38 TOPS）は、他の 3 派閥と根本的に位置付けが異なります。Apple Intelligence（macOS / iOS の常駐 AI 機能）の基盤として設計されており、サードパーティが直接 LLM 推論に使うためのフレームワークは Core ML と MLX の 2 経路 です。
MLX / llama.cpp Metal の実測相場（M4 Pro 48GB）
| モデル | 量子化 | tok/sec 相場感 | 実行経路 |
|---|---|---|---|
| Llama 3.2 3B | MLX 4bit | 約 60〜80 tok/sec | Metal GPU + Unified Memory |
| Llama 3.1 8B | MLX 4bit | 約 25〜35 tok/sec | 同上 |
| Qwen 2.5 14B | MLX 4bit | 約 15〜20 tok/sec | 同上 |
| Qwen 2.5 32B | MLX 4bit | 約 8〜12 tok/sec | 同上 |
Apple Silicon で LLM を回す場合、実質的には Metal GPU + Unified Memory で動いていて、Neural Engine は補助的な役割 です。MLX が Neural Engine を明示的に使うのは一部の演算に限られ、大部分は Metal GPU で処理されます。この構造上、Neural Engine の 38 TOPS 値は LLM 推論速度に直接は効きません。詳細は MLX vs llama.cpp Apple Silicon LLM 比較 2026年版 に整理しています。
NPU / iGPU / dGPU / Unified Memory / Strix Halo の 5 層住み分け
2026 年時点でのローカル LLM 実行環境を、モデルサイズと消費電力で 5 層に整理します。
| 層 | 代表ハードウェア | 動くモデル | 電力 | 用途 |
|---|---|---|---|---|
| NPU 層 | Snapdragon X2 / Ryzen AI 300 XDNA 2 / Core Ultra NPU 4 / Apple Neural Engine | 3B Q4（常駐） | 1〜3W | Live Captions / Recall / 軽量チャット常駐 |
| iGPU 層 | Radeon 890M / Arc 140V / Adreno X2 / Apple GPU | 8B Q4 | 15〜35W | ノート PC でのローカル LLM チャット |
| dGPU 層 | RTX 5070 12GB / 5070 Ti 16GB / 5080 / 5090 | 14〜32B Q4、70B Q3（32GB 時） | 150〜350W | デスクトップ本格運用 |
| Unified Memory 層 | Mac Studio M3 Ultra 512GB / MacBook Pro M4 Max 128GB | 32〜70B Q4、120B Q3 | 40〜100W | 大モデルを低電力で回す |
| Strix Halo 層 | Ryzen AI MAX+ 395 128GB | 70B Q4、100B クラス MoE | 55〜120W | 100B クラス MoE を最安価で回す |
入手性の注記（2026 年 8 月時点）: M3 Ultra Mac Studio は DRAM 供給制約により、512GB 構成が 2026 年 3 月に、256GB 構成が 5 月に終了しました。新品で選べるのは 96GB 構成のみです。本記事の 512GB / 256GB を前提とした記述は、中古および既存機での参考値として読んでください。
この 5 層構造で、NPU は「3B 常駐」の最下層を担当します。「NPU で 70B」「Copilot+ PC で本格的なローカル LLM」といった期待は 2026 年時点では非現実的で、8B 以上を回すなら iGPU 層（Radeon 890M / Arc 140V）を選び、14B 以上なら dGPU 層に上がる、という判断になります。ローカル LLM 用 PC の全体スペック指針は ローカル LLM PC の最低スペック 2026年版 に整理しています。
NPU が常時アイドルになる問題
Copilot+ PC を購入したユーザーが体感する現実として、NPU が普段ほとんど動いていない という現象があります。
原因は 4 つです。
- Windows AI 機能側の対応が段階的：Live Captions と Windows Studio Effects は NPU を常時使いますが、Recall は 2025 年前半のロールアウトで一部機能限定。Paint Cocreator / Photos の Restyle は使用頻度が高くありません
- サードパーティアプリの対応が限定的：Chrome / Firefox / VS Code などの主要アプリは NPU を直接使いません。Adobe Photoshop / DaVinci Resolve は一部フィルタで OpenVINO 経由で使いますが、恒常的な稼働ではありません
- LLM は iGPU / dGPU に落ちる：前述の通り、Ollama / LM Studio / llama.cpp は NPU 直接対応が限定的で、実運用では iGPU バックエンドに落ちます
- タスクマネージャで NPU 使用率を見る習慣がない：Windows 11 24H2 以降でタスクマネージャに NPU 項目が追加されましたが、ユーザーが監視する機会は少なく、「動いているかどうか分からない」状態が続きます
このため、「NPU 80 TOPS」というスペック値がノート PC 購入時に強調される割に、体感で「NPU があってよかった」と感じる場面は限定的、という 2026 年 8 月時点の実情があります。「NPU の性能で選ぶ」よりも、「バッテリー」「x86 互換性」「iGPU 経由の LLM 速度」で選ぶほうが、実運用の満足度が高いのが正直な整理です。
Windows AI Foundry と 2027 年に向けた統合の動き
2026 年半ばに Microsoft が発表した Windows AI Foundry は、DirectML / OpenVINO / QNN SDK / Ryzen AI Software の 4 バックエンドを統合的に呼び出す上位フレームワークで、開発者が「NPU 対応の書き分け」をせずに ONNX モデルを 4 派閥 SoC の NPU で走らせられる方向を目指しています。2026 年 8 月時点では対応モデルが Phi Silica / Copilot 系に限られますが、2027 年には Llama / Qwen / Mistral の対応も広がる見通しです。この統合が進めば「Ollama を入れれば NPU で動く」に近い状態が実現する可能性がありますが、2026 年 8 月時点ではまだ実装途上の段階です。
用途別の結論
煽らずに整理すると、こうなります。
| あなたの用途 | 推奨層 | 具体例 |
|---|---|---|
| ノート PC で AI 常駐機能（Live Captions / Recall）を使う | NPU 層 | Copilot+ PC 3 派閥のいずれでも可 |
| ノート PC でローカル LLM チャット（8B Q4） | iGPU 層 | Ryzen AI 9 HX 370 + Radeon 890M / Snapdragon X2 + Adreno / Core Ultra 200V + Arc 140V |
| デスクトップで本格的なローカル LLM（14〜32B） | dGPU 層 | RTX 5070 12GB / 5070 Ti 16GB / 5080 / 5090 |
| 32〜70B を低電力で回す | Unified Memory 層 | Mac Studio M3 Ultra / MacBook Pro M4 Max 128GB |
| 100B クラス MoE を最安価で回す | Strix Halo 層 | Ryzen AI MAX+ 395 128GB 搭載機 |
「NPU があれば LLM が動く」という期待は 2026 年 8 月時点では過剰で、実運用は iGPU 以上に頼るのが実情に沿った判断です。Copilot+ PC を買う理由は「Live Captions が快適」「Windows AI アプリが軽い」「バッテリーが長い」の側にあり、「NPU で LLM を回す」に置くと期待とのギャップが出やすい、というのが正直なところです。
まとめ：NPU は「3B 常駐」の層、8B 以上は iGPU / dGPU
- NPU 単独で LLM が実用になるのは 3B クラス（Llama 3.2 3B / Phi-3 Mini）まで
- 8B 以上は iGPU（Radeon 890M / Arc 140V / Adreno X2）経由が実測 tok/sec で有利
- 14B 以上は dGPU（RTX 5070 12GB 以上）に上がる判断
- TOPS 値と実効 tok/sec は直接連動しない（メモリ帯域律速 + フレームワーク成熟度依存）
- 2027 年の Windows AI Foundry 統合で状況が変わる可能性はある
「NPU 80 TOPS」の数字に惹かれてノート PC を選ぶ前に、自分の用途が NPU 層なのか iGPU 層なのかを見極めることが、後悔しない購入判断につながります。
入手先・関連商品
当サイトは Amazon.co.jp アソシエイト・プログラムに参加しています。下記リンク経由で購入された場合、紹介料を受け取ることがあります。読者の負担は増えません。リンクは記事評価とは独立しており、編集判断には影響しません。
Snapdragon X2 / X Elite 搭載機（NPU 80 TOPS 帯）
- Surface Pro 12 を Microsoft 公式サイトで見る
- Surface Laptop 7 (Snapdragon X Elite) を Microsoft 公式サイトで見る
- ThinkPad T14s Gen 6 (Snapdragon X Elite) を Amazon.co.jp で見る
Ryzen AI 300 搭載機（XDNA 2 NPU 50 TOPS 帯）
- ASUS Zenbook S 16 Ryzen AI 9 を ASUS 公式サイトで見る
- HP OmniBook Ultra (Ryzen AI) を HP 公式サイトで見る
- Ryzen AI 9 HX 370 ノートPC を Amazon.co.jp で見る
Core Ultra 200V 搭載機（NPU 4 = 48 TOPS 帯）
iGPU 経由で 8B Q4 を回す判断なら（1 段上の代替）
あなたに合うPCを診断する
用途や予算をもう少し細かく入力すると、3つの候補構成を提案します。
→ 診断スタート
関連記事
- NPU (Neural Processing Unit) とは何か 2026年版：NPU の基礎概念
- Copilot+ PC 3強実測比較 2026年版：3 派閥ノートの機種選び
- Snapdragon X2 Elite 搭載ノート選び方 2026年版：ARM Copilot+ PC の詳細
- ローカル LLM PC の最低スペック 2026年版：LLM 用 PC の全体構成
- MLX vs llama.cpp Apple Silicon LLM 比較 2026年版：Apple Neural Engine 相当の詳細
よくある質問
- NPU でローカル LLM は本当に動きますか
- 限定的に動きます。Snapdragon X2 Elite の Hexagon NPU は QNN SDK + Genie SDK 経由で Llama 3 8B が 15〜20 tok/sec 相場感、Apple Neural Engine は MLX 経由の一部モデルで動作、Intel AI Boost（NPU 4）は OpenVINO 経由で 3B Q4 が実用ライン、AMD XDNA 2 は Ryzen AI Software（GAIA）経由で対応モデルが限定されます。汎用の llama.cpp / Ollama では NPU 加速が受けられず CPU 推論に落ちるのが 2026 年 8 月時点の実情で、多くの人は結果的に iGPU（Vulkan/OpenVINO）で回しています。
- NPU の TOPS が高いほど LLM が速く動きますか
- TOPS 値と LLM の tok/sec は直接連動しません。Snapdragon X2 Elite の Hexagon NPU は 80 TOPS（INT8 理論値）と 4 派閥で最高ですが、実際に LLM を回すと Qualcomm QNN SDK 対応モデルに限られます。TOPS は INT8 の理論ピーク値で、LLM 推論の実効速度はメモリ帯域（LPDDR5X で 100〜200 GB/s）と KV キャッシュ配置の効率で決まります。NPU 80 TOPS でも実効 tok/sec は「iGPU の 60〜80% 相当」に留まるのが実情です。
- Copilot+ PC で 8B モデルは動きますか
- 動きます。ただし NPU 単独運用は限定的で、iGPU 経由がほぼ標準です。Ryzen AI 9 HX 370 + Radeon 890M（Vulkan バックエンド）で Llama 3.1 8B Q4_K_M が 18〜24 tok/sec、Snapdragon X2 Elite + Adreno（llama.cpp Vulkan）で 12〜16 tok/sec、Core Ultra 9 288V + Arc 140V（OpenVINO）で 12〜16 tok/sec 相場感です。NPU 経由は Snapdragon X2 の QNN + Genie SDK で 15〜20 tok/sec 相当が測れますが、対応モデルが Llama / Phi の Qualcomm 検証済ビルドに限られる制約があります。
- NPU / iGPU / dGPU / Unified Memory はどう住み分けますか
- モデルサイズと消費電力で住み分けます。NPU は 3B 常駐（Live Captions / Recall / 軽量チャット）を 1〜3W で回す層、iGPU は 8B Q4 を 15〜35W で回す層、dGPU（RTX 5070 12GB 以上）は 14〜32B Q4 を 150〜250W で回す層、Apple Unified Memory（M4 Pro 48GB 以上）は 32〜70B を 40〜80W の低電力で回す層、Strix Halo 128GB は 100B クラス MoE を回す最上位層、という 5 層構造です。ノート PC の常駐 AI 機能なら NPU、本格的なローカル LLM を回すなら iGPU 以上を選ぶ判断になります。
- NPU 対応の推論フレームワークは何がありますか
- SoC ベンダー別に分かれます。Snapdragon X2 Elite は Qualcomm QNN SDK + Genie SDK / Windows AI Foundry の DirectML、AMD Ryzen AI 300 は Ryzen AI Software（GAIA / Lemonade Server）/ ONNX Runtime + DirectML、Intel Core Ultra 200V は OpenVINO + Intel NPU Acceleration Library、Apple Silicon は MLX + Core ML です。汎用の llama.cpp は NPU 直接対応が限定的で、Ollama / LM Studio も NPU バックエンドは実装途上です。2026 年 8 月時点で「Ollama を入れれば NPU で動く」という状態にはまだ達していません。