ブラウザでローカルLLMの速度を測る
インストールなしで、このPCのGPUを使ってLLMを動かし、文章を生成する速さ(tok/s)を測ります。 モデルは Hugging Face からあなたのブラウザに直接ダウンロードされ、生成はこのPCの中だけで行います。 計測した速度の数値とGPUの名前は、ツール改善のため Google アナリティクスで集計します。
このブラウザの対応状況を確認しています…
この数字の読み方
- 生成速度(decode)は、回答が1秒に何トークン出てくるかです。日本語ではおおむね1トークンが1〜2文字です(Qwen2.5 で測ると約1.45文字)。
- ブラウザでの値は、同じPCで llama.cpp や Ollama を動かしたときより低めに出ます。 WebGPU を経由するぶんの差があり、その大きさは GPU やブラウザで変わります。ここでの値は「このPCの下限の目安」として見てください。 手元で Qwen2.5 7B(4bit)の生成速度を測ったところ、llama.cpp はブラウザより RTX 4070 で約1.9倍(57→108 tok/s)、Mac mini(M4)で約1.2倍(19.5→24.0 tok/s)速くなりました。 Mac ではここでの値に近い速さ、NVIDIA の GPU ではかなり速くなる、という見当になります。
- その速さで何ができるかは「ローカルLLMの使い道:7Bで何ができるか11題で実測」にまとめています。 7B なら RTX 4070 でも Mac mini(M4)でも、人が読む速さより速く文字が出ます。
- 計測は同じ文章を3回生成した中央値です。最初に1回、準備のための生成をしてから測ります。
- ダウンロードしたモデルはブラウザのキャッシュに残ります。不要になったら結果の下の「このモデルをブラウザから削除」で消せます。