llmspeedで見るローカルLLMの速度、資料を読ませると何秒待つのか

要点

対象：社外秘の資料をAIに読ませたい

1. 資料を読み込む速さが機材で大きく違う
2. GPT-OSS 120Bは6つのうち4つで動かない
3. 実機では10〜30%変わることがある

ローカルLLMを動かすパソコンを決める前に、llmspeedで資料の長さを選んで、答え始めるまでの時間を見てください。短い会話の速度だけで比べると、資料を読ませるたびに1分以上待たされる機材を買ってしまうことがあります。

この記事の目次（5節）

1. llmspeedでわかること
2. 英語で20ページ分の資料では、1.84秒から96秒
3. 大きなモデルが動くかは、メモリに載るかで決まる
4. 使い方と注意点
5. 買う前・発注する前に確かめること

10月18日に、llmspeedで同じモデルを選んで比べてみました。短い会話では、どの機材も1秒未満で答え始めました。英語で20ページ分の資料になると、速い機材で2秒弱、遅い機材で1分半ほどかかりました。¹

ローカルLLMは、自分のパソコンや社内のサーバーで動かすAIです。社外のAIサービスに入れられない資料を扱うときに使います。

llmspeedでわかること

llmspeedでは、機材とモデルを選ぶと、答えが出てくる速度を画面で見せてくれます。無料で使えます。作者は、ソースコードを誰でも使えるMITライセンスで公開しています。¹²

「20ページの資料」は、英語の文で約12,500トークンとして計算します。トークンは、AIが文を区切って数える単位です。¹

画面には2つの数字が出ます。「TTFT」は答え始めるまでの時間で、「tok/s」は1秒に出るトークンの数です。

数字の横には、どう求めたかを示すラベルが付きます。²

英語で20ページ分の資料では、1.84秒から96秒

モデルはGemma 4 12Bにそろえて、6つの機材を比べました。量子化はQ4_K_Mです。秒数は画面の表示のままです。¹

20ページの資料で差が開いたのは、答えを書き始める前に、AIが資料を読み込む速度が機材によって違うからです。画面の「How we calculated this」を開くと、読み込みにかかる秒数の計算が出ます。¹

一方、答え始めてから1秒に出るトークンの数（tok/s）は、資料が長くなってもあまり変わりませんでした。MacBook M4 Proでは、1割ほど減っただけでした。¹

大きなモデルが動くかは、メモリに載るかで決まる

モデルをGPT-OSS 120Bに替えると、6つのうち4つの機材で「won't run」（動かない）と出ました。量子化は、このモデルで選べるMXFP4です。内訳を開くと、必要なメモリと、その機材で使えるメモリが並びます。¹

必要なメモリは、モデルのファイルの大きさに、読ませる資料が長いほど増える分と、動かすソフトが使う分を足して見積もります。² 見積もり方は、ローカルLLMに要るメモリを紹介した記事にあります。

使い方と注意点

llmspeedは、相見積もりを取る前に、機材の候補を2〜3つに絞るのに使えます。「+ Race a config」で2つ目の組み合わせを足すと、速度を並べて比べられます。¹²

llmspeedが計算するのは機材1つの場合だけで、GPUを何枚も使う構成には、まだ対応していません。² 画面に出る例文は英語です。¹

ドライバーや動かすソフトのバージョンなどで、実際の数字は10〜30%変わることがあります。²

llmspeedは、10月17日に海外の技術者向けの掲示板Hacker Newsで紹介されました。コメントには、表示より速かった声も、遅かった声もありました。³

llmspeedの数字は、AIが1つの会話だけを受け持つ場合のものです。コメントには、いくつもの作業を同時に頼むと遅くなり、速さを保つにはもっと強い機材が要るという指摘もありました。³

llmspeedの入力欄には、自分の文を貼り付けて、その長さで試すこともできます。当サイトで、llmspeedのページがブラウザから送るデータを調べた範囲では、貼り付けた文の中身は送られていませんでした。¹

利用状況を数えるサービス（Umami）には、選んだ機材・モデル・量子化と、自分の文を使ったかどうかが送られていました。社外秘の文は貼り付けず、長さの選択肢で試せば足ります。¹

買う前・発注する前に確かめること

1. 読ませる資料の長さを確かめ、llmspeedで近い長さを選んで、答え始めるまでの時間を見る
2. 社外秘の資料と同じくらい長い、外に出してよい文を用意し、候補の機材で測ってもらうよう販売店か開発会社に頼む
3. 動かすモデルのライセンスと、日本語でどこまで答えられるかを、モデルごとに確かめる

日本語のモデルを自社のサーバーで動かす例は、ELYZAの日本語LLMの記事で扱っています。社内の資料を探す部分だけを手元で動かす方法は、EmbeddingGemma 2を試した記事にまとめました。

出典

1. llmspeed（2026年10月18日に開いて操作）（参照 2026-10-18）
2. nicorobinreal/llmspeed のREADME（GitHub・MITライセンス）（参照 2026-10-18）
3. Hacker News「Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware」（2026年10月17日）（参照 2026-10-18）