ブラウザでローカルLLMと話す
このPCのGPUで LLM(Qwen2.5)を動かし、話しかけて返事を試せます。 モデルは Hugging Face からあなたのブラウザに直接ダウンロードされ、入力した文章も返事も、このPCの外には送りません。 ツール改善のため、使ったモデル名・お題の種類・速度だけを Google アナリティクスで集計します(文章の中身は送りません)。
7B で何が得意で何が苦手かは「ローカルLLMの使い道:7Bで何ができるか11題で実測」にまとめています。 生成の速さだけを測るなら「ブラウザでローカルLLMの速度を測る」を使ってください。
このブラウザの対応状況を確認しています…