Jetson Orin Nano Super（$249）で 8B クラスのローカルLLM は実用速度で動きますか？

Q4_K_M 量子化した Llama 3.1 8B で 3〜5 tok/sec、Gemma 3 4B で 8〜12 tok/sec が現実線です。「チャットで待てる」ギリギリのラインで、エージェント用途や長文要約には物足りません。用途としては 3B〜4B クラスを常時起動しておくホーム推論サーバー、または画像認識・音声認識と組み合わせたロボティクス用途が現実的です。25W という消費電力を考えれば健闘していますが、7B 以上を主戦場にするなら AGX Orin か Strix Halo を検討してください。

Jetson AGX Orin 64GB と Ryzen AI MAX+ 395（Strix Halo）はどちらが LLM 向きですか？

70B / 120B を単体ロードして 5〜8 tok/sec 出す用途では Strix Halo の圧勝です。AGX Orin は 64GB LPDDR5 と 204 GB/s 帯域を持ちますが、実売価格 30〜40 万円帯で「LLM 推論に絞ればコスパは Strix Halo に負ける」というのが現実です。AGX Orin の強みはロボティクス・産業用エッジ AI 向けの CUDA コアと SDK 群（Isaac / DeepStream / RIVA）で、LLM 単用途で選ぶ CPU/GPU ではありません。

Jetson Thor（$3,499）は Strix Halo や Mac Studio の代わりになりますか？

LLM 推論だけで比較するとオーバースペックです。Jetson Thor Developer Kit は 128GB LPDDR5X・273 GB/s 帯域を $3,499 で持ってきましたが、Blackwell アーキテクチャの真価は FP4 AI 演算の 2070 TFLOPS で、これはロボティクス・自律走行の実時間推論向けの数値です。純粋な LLM 用途なら同予算で Mac Studio M4 Max か Strix Halo ミニ PC を買った方が実用値が高くなります。Jetson Thor は「エッジ AI＋ロボット＋LLM」の三役を 130W 前後で回したい用途に絞ってください。

Jetson で TensorRT-LLM と llama.cpp のどちらを使うべきですか？

本番用途なら TensorRT-LLM、試すだけなら llama.cpp（GGUF）から入るのが順当です。TensorRT-LLM は Jetson 向けに最適化された推論エンジンで、同じモデルで llama.cpp より 1.5〜2 倍速い数値が出るケースが多いです。ただし対応モデルは Llama / Mistral / Qwen 系など主要オープンウェイトに限られ、量子化フォーマットの選択肢も狭くなります。llama.cpp は GGUF がそのまま動き、量子化バリエーションが豊富なので、モデルを試す段階では圧倒的に楽です。定常運用のパイプラインが固まってから TensorRT-LLM に移す流れが実務的です。

Jetson シリーズはローカル LLM サーバーとして常時稼働に向きますか？

向きます。Jetson Orin Nano Super は 25W、AGX Orin は 15〜60W モードが選べ、Jetson Thor でも 130W 前後で動きます。x86 デスクトップの数分の一の消費電力で 24 時間稼働できることが最大の利点で、電気代・熱・騒音の全てで有利です。ただし LLM 単用途の常時サーバー化なら、同予算帯の Ryzen AI MAX+ 395 ミニ PC の方が VRAM 割当・生成速度ともに上回るので、Jetson を選ぶ根拠は「NVIDIA CUDA スタックが必要」「ロボティクス・エッジ AI と兼用」「ARM Linux の運用実績を作りたい」のいずれかに絞られます。

NVIDIA Jetson Orin Nano Super / AGX Orin / Jetson Thor でローカルLLMはどこまで動くか実測ベンチマーク 2026年版

本記事は Amazon.co.jp および各販売店のアフィリエイトリンクを含む場合があります。推奨は性能・コスパ・実機ベンチマーク基準で編集判断しており、提供記事は受け付けていません。詳細はプライバシーポリシーをご覧ください。

Jetson Orin Nano Super / AGX Orin / Jetson Thor ローカルLLM ベンチマーク 2026：Llama 3.1 8B / Qwen 2.5 7B の tok/sec と消費電力比較図

結論：Jetson Orin Nano Super（$249、25W）は 3B〜4B クラスの LLM を 8〜12 tok/sec で常時起動できる最安のエッジ推論機です。

7B 以上を主戦場にするなら AGX Orin か、同じ $2,000〜$3,000 帯なら Ryzen AI MAX+ 395（Strix Halo）が LLM コスパで勝ります。Jetson Thor Developer Kit（$3,499、128GB LPDDR5X、273 GB/s）は LLM 単用途で選ぶ機材とは言い難く、ロボティクス・実時間 CV・LLM の三役を 130W 前後で回したいときの選択肢になります。

「エッジ AI で NVIDIA CUDA スタックが必要」「省電力で 24 時間稼働」「ARM Linux 運用と兼用」のいずれかに該当しなければ、同予算で Strix Halo ミニ PC か Mac Studio を検討してください。

「LLM 推論のためのハードウェア」というと、まず RTX や Strix Halo、Mac Studio の話になります。一方で NVIDIA には Jetson という別ラインが存在します。$249 の Jetson Orin Nano Super から $3,499 の Jetson Thor まで、消費電力 25〜130W でエッジ AI を回す製品群を揃えています。本記事は、この Jetson ラインでローカル LLM が実際にどこまで動くのかを実測ベースで整理し、「LLM 用途で Jetson を選ぶ根拠はどこにあるか」を用途別に判断できるようにするものです。数値の出典は NVIDIA 公式の jetson-benchmarks リポジトリ、Level1Techs Forum、Reddit r/LocalLLaMA、Phoronix の Jetson レビュー記事群、および Framework Community の実測レポートです。iris-lab に Jetson 実機は無いため公開実測の集約ベースになる点は明示しておきます。

Jetson シリーズのハードウェア前提：3 モデルを 1 枚に整理

まず、比較対象となる Jetson モジュールのハードウェア仕様を並べます。この 3 モデルは「エッジ AI 向け組み込みモジュール」という点は共通ですが、性能帯・価格帯・アーキテクチャが世代で大きく異なります。

モデル	Jetson Orin Nano Super	Jetson AGX Orin 64GB	Jetson Thor Developer Kit
発売	2024-12	2022〜（現行）	2026 Q3〜（GTC 2025 発表）
価格（Developer Kit）	$249	$1,999	$3,499
GPU アーキテクチャ	Ampere	Ampere	Blackwell
CUDA コア数	1,024	2,048	2,560（推定）
Tensor コア数	32	64	96（推定）
メモリ容量	8 GB LPDDR5	64 GB LPDDR5	128 GB LPDDR5X
メモリ帯域	102 GB/s	204.8 GB/s	273 GB/s
INT8 AI 性能	67 TOPS	275 TOPS	–
FP4 AI 性能	–	–	2,070 TFLOPS
TDP（可変）	7〜25 W	15〜60 W	40〜130 W
ストレージ	microSD + NVMe	NVMe（M.2 Key M）	NVMe（M.2 Key M）

Jetson Thor は Blackwell 世代の Jetson です。GTC 2025 で発表されて 2026 年に出荷が始まった最新モジュールです。128GB LPDDR5X と 273 GB/s 帯域という数字は、Strix Halo（96GB 割当・256 GB/s）とほぼ同等帯・同容量帯にあります。Jetson Thor が「LLM 用のハード」として語られる理由の半分はこの帯域と容量、もう半分は Blackwell の FP4 AI 演算です。一方で Jetson Orin Nano Super は「小型・低消費電力の 3B〜4B 推論機」というポジションです。$249 で 25W で動く LLM ハードとして、他に代替が無い立ち位置を持っています。

Jetson Orin Nano Super：$249 で 3B〜4B を常時起動できるか

Jetson Orin Nano Super Developer Kit の LLM 推論性能を、GGUF（llama.cpp）と TensorRT-LLM の両経路で整理します。数値は公開実測の傾向値です。

モデル	量子化	llama.cpp（GGUF）	TensorRT-LLM	メモリ使用
Llama 3.2 1B	Q4_K_M	25〜35 tok/sec	40〜55 tok/sec	1.2 GB
Llama 3.2 3B	Q4_K_M	12〜18 tok/sec	18〜25 tok/sec	2.5 GB
Gemma 3 4B	Q4_K_M	8〜12 tok/sec	12〜18 tok/sec	3.4 GB
Qwen 2.5 7B	Q4_K_M	5〜7 tok/sec	7〜10 tok/sec	5.5 GB
Llama 3.1 8B	Q4_K_M	3〜5 tok/sec	5〜7 tok/sec	6.2 GB

Llama 3.2 3B・Gemma 3 4B は「チャットで待たされない」領域です。Jetson Orin Nano Super の主戦場になります。Llama 3.1 8B は 3〜5 tok/sec と、体感的には「Slack にメッセージを送って返事を待つ」くらいのテンポです。常時起動のチャット用途は厳しめです。

同じ 25W 級では、Raspberry Pi 5（8GB、CPU 推論）で Llama 3.1 8B が 1〜2 tok/sec、Mac mini M4（16GB、$799）で 15〜20 tok/sec 出るので、Jetson Orin Nano Super は「Raspberry Pi の 3〜5 倍速いが、Mac mini M4 の 1/4」というポジションです。$249 という価格と、CUDA スタック上でロボティクス・CV と兼用できる点が Jetson Orin Nano Super を選ぶ理由になります。

prefill（プロンプト処理）側の弱さは 25W クラスでは避けられません。長文コンテキストや RAG では TTFT が数十秒に伸びやすいです。想定用途が長文中心なら別機材にしてください。prefill が体感時間を支配する仕組みは「ローカルLLM プロンプト処理（prefill）速度 GPU別ベンチマーク 2026年版」に整理しています。

Jetson AGX Orin 64GB：中位機の実用値と価格の壁

Jetson AGX Orin 64GB Developer Kit（$1,999、60W モード）で動く LLM のレンジを整理します。64GB LPDDR5 を持つので Llama 3.3 70B の Q4_K_M も理屈上ロードできますが、実用速度に足りるかは別問題です。

モデル	量子化	AGX Orin 64GB tok/sec	参考: Strix Halo 96GB
Llama 3.1 8B	Q4_K_M	12〜18	30〜45
Qwen 2.5 14B	Q4_K_M	8〜12	18〜25
Qwen 2.5 32B	Q4_K_M	3〜5	8〜12
Llama 3.3 70B	Q4_K_M	1〜2	5〜8

AGX Orin 64GB は「8B〜14B を実用速度で回せる中位機」です。32B は動くが快適とは言いづらいです。70B はロードできても実用外という結果になります。Strix Halo 96GB 割当の Ryzen AI MAX+ 395 と比べると、いずれのモデルでも 2〜3 倍の速度差があり、LLM 単用途で AGX Orin を選ぶ経済合理性は薄いです。

AGX Orin を選ぶ根拠は 3 つに限定されます。

第一に、Isaac / DeepStream / RIVA といったロボティクス・映像処理・音声認識の NVIDIA SDK スタックを CUDA ネイティブで回したいとき。第二に、屋外や車載など環境が厳しい場所で 15〜60W で動く CV+LLM の統合機が必要なとき。第三に、既存の Jetson パイプラインを持つ組織で LLM 部分だけ追加したいとき。純粋な LLM 用途では、同予算で「Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版」で扱った BD395i MAX / EVO-X2 / MS-S1 Max のいずれかを選ぶ方が実用値が高くなります。

Jetson Thor：$3,499 で 128GB LPDDR5X・273 GB/s は何のため

Jetson Thor Developer Kit は、Blackwell 世代の Jetson です。128GB LPDDR5X と 273 GB/s 帯域を $3,499 で持ってきた最上位機です。GTC 2025 で発表され、2026 年に出荷が始まりました。ハード仕様だけ見ると Strix Halo の上位互換に見えますが、LLM 推論性能で見ると評価が変わります。現時点で入手できる公開実測の傾向値です。数値は初期ベンチマークの集約で、ドライバ・TensorRT-LLM の成熟に応じて変動します。

モデル	量子化	Jetson Thor tok/sec	参考: Strix Halo 96GB	参考: Mac Studio M3 Ultra
Llama 3.1 8B	Q4_K_M	50〜70	30〜45	45〜60
Qwen 2.5 32B	Q4_K_M	15〜22	8〜12	20〜28
Llama 3.3 70B	Q4_K_M	8〜12	5〜8	12〜18
Llama 3.1 405B	Q4 系（部分ロード）	–	–	部分実用
gpt-oss 120B（MoE）	Q4	15〜22	10〜15	25〜35

Jetson Thor は 70B クラスで Strix Halo を 1.5〜2 倍上回り、Mac Studio M3 Ultra とほぼ横並び〜やや下という位置です。

ここで判断が分かれます。

純粋な LLM 用途で「$3,499 で 70B を 8〜12 tok/sec」という数字は、同予算の Mac Studio M4 Max（メモリ 96GB 構成で 60〜80 万円）と勝負にならないと感じるかもしれません。

Jetson Thor の真価は Blackwell の FP4 AI 演算 2,070 TFLOPS にあります。これはロボット・自律走行・実時間 CV での多モデル同時実行を想定した数値です。LLM だけを走らせても使いこなせません。LLM＋Vision Language Model＋物体検出＋音声認識を 130W 前後で並列に回したい、というワークロードで Jetson Thor は初めて他の GPU にない価値を出します。逆に LLM 単用途で見るなら「NVIDIA DGX Spark vs Ryzen AI MAX+ 395 vs Mac Studio M3 Ultra 徹底比較 2026年版」で扱った選択肢の方が経済合理性が高いです。

Jetson Thor は現時点で購入 CTA を貼らない

Jetson Thor Developer Kit は 2026 年 Q3 から NVIDIA および正規代理店経由で出荷が始まっている段階です。Amazon.co.jp の一般流通は限定的です。本記事では Jetson Thor に対する購入リンクは貼らず、公式ページ経由の情報収集に留めます。Amazon 検索は Jetson Orin Nano Super Developer Kit と Jetson AGX Orin 64GB Developer Kit の 2 種類に絞ります。未発売または一般流通が薄い機材に購入 CTA を貼ると、無関係な商品の検索結果面に着地して読者体験を損ねます。この方針は他のプレリリース機材（発表済み・発売前）にも適用します。

用途別の現実解：Jetson を選ぶ根拠がある人・ない人

Jetson ラインを LLM 用途で選ぶ判断基準を用途別に整理します。

用途	現実的な選択肢	Jetson を選ぶ根拠
常時起動の 3B〜4B チャットサーバー（家庭内）	Jetson Orin Nano Super（$249、25W）	消費電力・価格・NVIDIA スタック
常時起動の 7B〜8B チャットサーバー	Mac mini M4 16GB（$799）または Jetson Orin Nano Super	Jetson は NVIDIA スタック必須時のみ
8B〜14B の生産的用途（コード補完・要約）	Ryzen AI MAX+ 395 ミニ PC（30〜40 万円）	AGX Orin は CV/ロボと兼用時のみ
32B 以上のローカル LLM 開発機	Strix Halo 96GB 割当または Mac Studio M4 Max	Jetson Thor はロボと兼用時のみ
ロボット・自律走行・実時間 CV＋LLM	AGX Orin または Jetson Thor	Jetson の主戦場
屋外・車載・低消費電力の統合エッジ AI	Jetson シリーズ	他に代替が無い
LLM 単用途の低消費電力常時サーバー	Mac mini M4 または低電力設定の Strix Halo	Jetson を選ぶ理由が薄い

「Jetson は LLM 用として選ぶハードか」という問いへの答えは 「LLM 単用途では選ぶ理由が薄い、ただしエッジ AI・CV・ロボと兼用するなら唯一解に近い」 です。

ホームサーバー化の全体像は「家庭用ローカルLLMサーバー構築ガイド 2026年版」に整理しています。ネットワーク設計は「家庭用LLMサーバーネットワーク設計ガイド Wi-Fi 7 / 10GbE 2026年版」を参照してください。

Jetson と Strix Halo の住み分け：帯域と CUDA スタックの二軸

Jetson Thor（128GB・273 GB/s）と Strix Halo（96GB 割当・256 GB/s）は帯域も容量もほぼ同等ですが、選ぶ根拠は 2 つの軸で分かれます。

帯域軸：帯域は decode（生成速度）を、演算スループットは prefill（プロンプト処理速度）を決めます。Strix Halo の方が同じ 8B モデルで decode は速い場面が多く、Jetson Thor は Blackwell の演算スループットで prefill と大型モデルで有利になります。ここは用途で使い分けが必要な領域です。詳細は「メモリ帯域幅(GB/s)がローカルLLMの tok/sec を決める仕組み 2026年版」で扱っています。

スタック軸：Jetson は CUDA / TensorRT-LLM / Isaac / DeepStream / RIVA の NVIDIA スタックが ARM Linux ネイティブで動きます。Strix Halo は ROCm と Vulkan で、CUDA エコシステムの成熟度には及びません。開発対象が既に CUDA / TensorRT ベースなら Jetson、開放的なオープンソーススタック（llama.cpp・vLLM・SGLang）中心なら Strix Halo という判断になります。ROCm と CUDA の実務的な差分は「ROCm vs CUDA ローカルLLM 実務比較 2026年版」で整理しています。

まとめ：Jetson は「エッジ AI 統合機」として選ぶ

Jetson シリーズを LLM 用ハードとしてまとめると、次の 3 行に集約されます。

Jetson Orin Nano Super（$249、25W）：3B〜4B クラスを常時起動できる最安のエッジ推論機。ホームサーバーやロボットの LLM 補助に最適。
Jetson AGX Orin 64GB（$1,999）：8B〜14B が実用速度、CV・ロボットと兼用時のみ選ぶ中位機。LLM 単用途では Strix Halo に負ける。
Jetson Thor（$3,499、128GB LPDDR5X）：LLM＋Vision＋CV＋音声を 130W で並列に回す統合機。LLM 単用途では Mac Studio M4 Max の方がコスパで勝つ。

「NVIDIA CUDA スタックが必要」「エッジ AI・CV・ロボと兼用したい」「ARM Linux で運用したい」のいずれかに該当しないなら、同予算で Strix Halo ミニ PC や Mac Studio を検討してください。次の PC 選定で「Jetson でローカル LLM を回そう」と考えたときには、まず用途がロボティクス寄りかどうかを自問することをお勧めします。

小型フォームファクタ全般の選定は「ミニPC・SFF ガイド 2026年版」もあわせて参考にしてください。

入手先・関連商品

当サイトは Amazon.co.jp アソシエイト・プログラムに参加しています。下記リンク経由で購入された場合、紹介料を受け取ることがあります。読者の負担は増えません。リンクは記事評価とは独立しており、編集判断には影響しません。

エッジ推論・ホームサーバー用途（Jetson）

比較対象（LLM 単用途で有力な代替機）

MINISFORUM BD395i MAX を Amazon.co.jp で見る

Jetson Thor Developer Kit は 2026 年出荷開始段階で Amazon.co.jp の一般流通が薄いため、購入は NVIDIA 公式および正規代理店経由を推奨します。

あなたに合うPCを診断する

用途や予算をもう少し細かく入力すると、3つの候補構成を提案します。

→ 診断スタート