ローカルLLMの「8B」「Q4_K」「VRAM」は何を表しているのか

要点

対象：ローカルLLMの説明の用語で止まる人

1. 8Bを4.5ビットで表すと約4.5GB
2. KVキャッシュは長い文章ほど増える
3. 速さを求めるならCPUに回さない

ローカルAIを一から学ぶ講座の3回目です。ローカルLLM（自分のパソコンで動かす、文章を作るAI）のモデルカード（モデルの説明のページ）には、「8B」「Q4_K」「VRAM」のような言葉が並びます。

この記事の目次（7節）

1. 「8B」はパラメータ数
2. トークンとコンテキスト長
3. 「Q4_K」は量子化の形式
4. 「VRAM」は GPU 専用のメモリ
5. 推論と学習
6. つまずきやすいところ
7. 次に読む回

「8B」は、モデルが持つパラメータ（学習で身につけた数値）が約80億個という意味です。¹

「Q4_K」は量子化（数値を少ないビット数で表し、小さくすること）の形式の名前です。「VRAM」は、GPU（画像の計算が得意な部品）に付いた専用のメモリです。

3つとも、手元のメモリに何をどれだけ載せるかに関わります。メモリに載るのは、重み（パラメータの値を保存したもの）と、KVキャッシュ（入力の計算結果を保存する領域）の2つです。

重みの大きさはモデルで決まり、KVキャッシュは読ませる文章が長いほど大きくなります。

この2つの合計が、VRAM（GPU で動かすとき）かメインメモリ（パソコン本体のメモリ）に収まるかで、手元で動かせるかがほぼ決まると考えています。

「8B」はパラメータ数

名前の数字の読み方

名前の「8B」の B は10億（billion）の略で、Meta の Llama 3.1 には8B・70B・405B の3つのサイズがあります。²

名前の数字は丸めた値です。Qwen3-8B のパラメータ数は8.2B で、OpenAI の gpt-oss-20b は21Bです。³¹⁶ メモリを見積もるときは、名前ではなく、モデルカードの数字かファイルの大きさを見てください。

サイズと能力

パラメータ数などのサイズを大きくすると、モデルの能力は高くなります。最近は、小さなモデルでも性能を高める方法（蒸留など）が開発されています。⁴

モデルを選ぶときは、パラメータ数から、まず要るメモリの量を見積もるとよいと考えています。

モデルのファイルの形式

重みを保存するファイルの形式には、GGUF などがあります。GGUF は llama.cpp（LLMを動かすためのプログラム）の開発者が作った形式です。⁸ GGUF のファイルには、重みと一緒に、モデルの情報をまとめたデータも入っています。⁸

トークンとコンテキスト長

トークン

言語モデルは、文章をトークンという単位に区切って扱います。トークンは、単語のことも、単語の一部や1文字のこともあります。⁵

区切り方は、モデルが持つトークンの一覧（語彙）によって変わります。⁶

同じ文のトークン数

同じ文でも、モデルによってトークンの数は変わり、日本語の文では差が大きく出ました。トークンが多いモデルほど、同じ資料でもコンテキスト長を多く使い、KVキャッシュも大きくなります。

この記事のために、3つの公開モデルのトークナイザ（文章をトークンに区切るプログラム）で数えた結果です（2026年11月1日、tokenizers 0.23.3）。

日本語の文は「明日の会議の資料を、三つの要点にまとめてください。」で、英語の文はその英訳です。

llm-jp-3-1.8b は、国立情報学研究所の大規模言語モデル研究開発センターが公開したモデルです。¹⁵ 実測では、このモデルで「会議」「資料」がそれぞれ1トークンになり、日本語の文のトークン数がいちばん少なくなりました。

トークンを1つずつ選んで文章を作る流れは、生成AIの仕組みの記事に書きました。

コンテキスト長

コンテキスト長（一度に読める長さ）は、モデルが1回のプロンプトで処理できるトークンの数です。¹

上限はモデルカードに載っています。表はモデルカードの書き方のままで、K はおよそ千です。²³

Llama 3.1 の128Kは、Qwen3-8B の32,768と比べて4倍ほどの長さです。長い資料を読ませたいなら、この欄を先に見てください。

KVキャッシュ

KVキャッシュは、モデルが次の言葉を作るときに使えるよう、それまでのトークンの計算結果をためておく領域です。トークンが増えるほど大きくなります。¹⁰

論文の例では、130億パラメータのモデル（OPT-13B）の KVキャッシュは、数値を16ビットで表すと1トークンあたり800KBです。このモデルが扱える最大の2,048トークン分たまると、1回のやり取りで最大1.6GBになります。¹⁰

「Q4_K」は量子化の形式

量子化

量子化は、重み（ときには計算の途中の値も）を少ないビット数で表し、要るメモリを減らすことです。ビット数を減らすと、答えの精度も少し落ちます。⁷

量子化しないで使うときは、16ビット（bf16）で読み込むのがふつうで、1つのパラメータに2バイトを使います。⁷

ファイルの大きさの目安

モデルのファイルの大きさは、パラメータ数に1つあたりのビット数を掛け、8で割ると、およそのバイト数になります。8ビットが1バイトだからです。

8Bを4.5ビットで表すと、80億×4.5÷8で45億バイトです。10億バイトを1GBとして、約4.5GBになります。

表の値は、すべての重みを同じビット数で表したときの計算の目安で、KVキャッシュの分は入っていません。8Bの行の値は、Hugging Face の文書の目安とも合っています。⁷

「Q4_K」の読み方

「Q4_K」は GGUF の量子化の形式です。重みは4ビットで表しますが、32個ずつのまとまりごとに目盛りの値も保存するので、その分をならすと1つあたり平均4.5ビットになります。⁸ 目安の表の「4.5ビット」の列が、Q4_K に当たります。

配布ページでよく見る「Q4_K_M」は、llama.cpp の表では、Llama 3.1 8B で1つあたり平均約4.9ビットです。¹⁷

配布ページのファイルを使うなら、見積もりは約4.9ビットでしておくと安全です。 この名前は、llmspeedでローカルLLMの速度を見る記事の条件の表にも出てきます。

末尾の「_M」の意味と、ビット数を減らすと答えの質がどう変わるかは、この講座の5回目で扱います。

「VRAM」は GPU 専用のメモリ

VRAM の量

重みと KVキャッシュを全部 VRAM に載せられれば、計算をすべて GPU でできます。VRAM の量は、メーカーの仕様のページで確かめられます。¹¹¹²

4.5ビットで表した8Bのモデルの重み（約4.5GB）は、計算の上では8GBの VRAM に収まりますが、KVキャッシュと余裕の分も要るので、必ず動くとは限りません。

載ったかは、Ollama なら ollama ps の「PROCESSOR」の欄が「100% GPU」かで確かめられます。⁹

自分のパソコンの GPU と VRAM の量の調べ方は、この講座の7回目で扱います。

大きなモデルほど、多くの VRAM が要ります。ELYZA の33bのモデルはファイルだけで66.5GBあり、それより大きい GPU のメモリが要ります（ELYZAの日本語LLMの記事）。

載りきらないとき

VRAM に載りきらないときも、llama.cpp なら、CPU と GPU で計算を分けて、VRAM より大きなモデルを動かせます。¹⁴ CPU の側は、メインメモリ（パソコン本体のメモリ）を使います。

これは載りきらないときの手段です。Ollama（手元でLLMを動かすアプリの1つ）は、速さを求めるなら、モデルを CPU に回さないよう勧めています。⁹ どこまで GPU に載ったかは、上の ollama ps の欄で確かめられます。

Mac のユニファイドメモリ

Apple は M1 で、ユニファイドメモリアーキテクチャを採用しました。CPU や GPU を含むチップの中の部品が、1つのメモリを共有する仕組みです。¹³

M1 を載せた Mac では、モデルが載るかを、このメモリの量で見積もるとよいと考えています。

推論と学習

推論は、学習済みのモデルで、プロンプトへの答えを作ることです。¹ ローカルLLMで「動かす」と言うときは、ふつう推論を指します。

大量の文章から重みを決める学習は、公開されたモデルでは作った会社が済ませています。Meta は Llama 3.1 を、約15兆トークンの文章で事前学習しました。²

つまずきやすいところ

重みが VRAM に収まっても動くとは限らない

コンテキスト長を大きくするほど、モデルを動かすのに要るメモリは増えます。⁹ 長い資料を読ませるなら、ファイルの大きさに、KVキャッシュの分と余裕を足して見積もってください。

モデルカードのコンテキスト長がそのまま使えるとは限らない

Ollama は、VRAM の量によって既定（デフォルト）のコンテキスト長を変えます。⁹ 表の GiB は Ollama の書き方で、GB とほぼ同じ単位です。

モデルカードに128Kと書いてあっても、アプリの設定によっては、扱う長さが短くなることがあります。

Ollama は、ウェブ検索やエージェント、コーディングのツールで使うなら、64,000トークン以上にするよう勧めています。ただし、先に VRAM が足りるかの確認も求めています。⁹

次に読む回

この講座の前の回は「ローカルLLMはクラウドのAIより得なのか、機械の値段と電気代で比べる」です。

次の回は「そのモデルは何GBのメモリで動くか」です。重みの大きさの計算に、KVキャッシュの分と余裕を足して、手元の機械で動くモデルの大きさを見積もります。

まずは、気になるモデルのモデルカードを開いて、パラメータ数とコンテキスト長の2つの数字を探してみてください。

出典

1. Google for Developers「Machine Learning Glossary」（parameter・inference・large language model・quantization・context window の項）（参照 2026-11-01）
2. Meta「Llama 3.1 8B Instruct」のモデルカード（Hugging Face、2024年7月23日公開）（参照 2026-11-01）
3. Qwen「Qwen3-8B」のモデルカード（Hugging Face）（参照 2026-11-01）
4. 東京大学 吉田塁「生成AIの仕組み テキスト生成の仕組み」（教育における生成AI活用推進リーダープログラム、2026年4月）（参照 2026-11-01）
5. Anthropic「Glossary」（Claude Docs。Tokens・Context window の項）（参照 2026-11-01）
6. Hugging Face「Tokenization algorithms」（Transformers のドキュメント）（参照 2026-11-01）
7. Hugging Face「Overview」（Transformers のドキュメントの量子化の章、GitHub の main の版）（参照 2026-11-01）
8. Hugging Face「GGUF」（Hub のドキュメント。Quantization Types の表）（参照 2026-11-01）
9. Ollama「Context length」（Ollama のドキュメント）（参照 2026-11-01）
10. Kwon ほか「Efficient Memory Management for Large Language Model Serving with PagedAttention」（arXiv:2309.06180、2023年9月）（参照 2026-11-01）
11. NVIDIA「GeForce RTX 4090」の製品ページ（仕様）（参照 2026-11-01）
12. NVIDIA「GeForce RTX 3060 Family」の製品ページ（仕様）（参照 2026-11-01）
13. Apple「Apple、M1チップを発表」（ニュースルーム、2020年11月10日）（参照 2026-11-01）
14. ggml-org「llama.cpp」の README（GitHub）（参照 2026-11-01）
15. 国立情報学研究所 大規模言語モデル研究開発センター「llm-jp-3-1.8b」のモデルカード（Hugging Face）（参照 2026-11-01）
16. OpenAI「gpt-oss-20b」のモデルカード（Hugging Face）（参照 2026-11-01）
17. ggml-org「llama.cpp」の量子化のツールの README（GitHub。meta-llama/Llama-3.1-8B の表）（参照 2026-11-01）