ローカルLLMのスペックは何GB必要？メモリの計算式とモデル別の早見表

要点

対象：手元のパソコンでAIを動かしたい人

1. 4ビット（Q4_K_M）はパラメータ1つ約0.61バイト
2. MoE は合計のパラメータ数で計算
3. config.jsonで層・KVヘッド・次元を見る

ローカルLLM（手元で動かすAIのモデル）に必要なメモリは、重み・KVキャッシュ（入力の計算結果を保存する領域）・計算の途中で使う分を足して見積もれます。GPUで動かすなら、VRAM（GPUの専用のメモリ）が合計より多いかを見てください。

この記事の目次（6節）

1. VRAMの量ごとに載るモデルの目安
2. 必要なメモリの計算式
3. モデル別の早見表（目安）
4. 表に無いモデルを自分で計算する
5. つまずきやすいところ
6. 次に読む回

例にするのはQwen3-8Bです。コンテキスト長（一度に読める長さ）を8,192トークンにします。4ビットに量子化（数を少ないビットで表すこと）すると、約7.2GBが目安です。

この記事は、ローカルAIの講座「1からの道のり」の4回目です。

VRAMの量ごとに載るモデルの目安

記事の後ろの早見表の合計の目安を、VRAMの量ごとに並べ直しました。合計の目安がVRAMより小さいモデルのうち、いちばん大きいものです（4ビットのQ4_K_M）。

合計の目安がVRAMの量に近いモデルは、載らないこともあります。近いときは、1つ小さいモデルか、短いコンテキスト長から試すのがよいと考えています。

モデルのファイルの大きさから必要なメモリを見る例は、ELYZAが無料公開した日本語LLMの記事でも紹介しました。GPUが無いパソコンでも、メインメモリに置けば動かせます。¹³

Mac（Appleのチップ）は、CPUとGPUが1つのメモリを一緒に使う作り（ユニファイドメモリ）なので、全部をモデルに使えるわけではありません。何GBまで使えるかは、機材の回で扱います。¹⁶

必要なメモリの計算式

パラメータ数は、重みとして持っている数の多さです。モデルの名前の「8B」がそれに当たり、Bはbillion（10億）の頭文字です。8Bなら、およそ80億個です。

トークンは、AIが文章を区切って扱う単位です。KVキャッシュは、読ませた文章とAIが返した答えのトークンが多いほど大きくなります。区切り方は、生成AIの仕組みの記事で説明しています。¹

重みのバイト数は、量子化の形式で決まる

ビット数を8で割ると、バイト数になります。16ビットなら、どのパラメータも2バイトです。7Bのモデルなら、重みは約14GBです。¹³

量子化すると、パラメータ1つあたりのバイト数が減ります。形式ごとの平均は次のとおりで、llama.cpp（ローカルLLMを動かすソフト）の説明書にある値です。²

値は、MetaのLlama 3.1 8Bを量子化して測ったものです。この記事では、ほかのモデルにもこの値を使いました。名前に4とあっても平均が4.9ビットになる理由は、次の回で扱います。²

計算の途中で使う分は、重みの20%として足す

EleutherAI（AIの研究の非営利団体）は、計算の途中で使う分を、経験から重みの20%以下と見ています。この記事では多めに見て、重みの20%をそのまま足しました。³⁴

モデル別の早見表（目安）

早見表の前提は次のとおりです。層の数などの値は、2026年11月1日にHugging Faceで開いた設定ファイル（config.json）の値です。

• 重みは、上の表のllama.cppの平均のビット数で計算
• KVキャッシュは16ビットで計算（Ollama〔ローカルLLMを動かすソフト〕の初期設定の f16 と同じ）
• 1GBは10億バイトで計算

重みの大きさ

4ビットで動かすときの合計の目安

パラメータ数は各モデルのモデルカードの値で、KVキャッシュは各モデルの層の数などから計算しました。^6789101112

早見表の最初の2行は、KVキャッシュが同じ大きさです。KVキャッシュは、パラメータ数ではなく、モデルの中の作り（層の数など）で決まるためです。⁶⁷

MoEのモデルは、合計のパラメータ数で数える

MoE（混合エキスパート）は、中に「エキスパート」という部品をたくさん持ち、トークンごとに一部だけを使う作りです。例えばQwen3-30B-A3Bは、MoEのモデルです。エキスパートを128個持ち、トークンごとに8個を使います。¹¹

このモデルでトークンごとに働くのは3.3Bです。それでも、動かすときは全部のエキスパートをメモリに置くので、重みは合計の30.5Bで計算します。¹¹¹⁵

表に無いモデルを自分で計算する

ここからは、早見表に無いモデルのKVキャッシュを自分で計算したいときの話です。表のモデルを使うなら、読み飛ばしてかまいません。

トークンごとの大きさの式

KVキャッシュを使うのは、アテンション（前のトークンとの関係を計算する仕組み）の層です。アテンションの計算は、ヘッドという単位に分けて行います。¹

• トークンごとのバイト数 ＝ 2 × 層の数 × KVヘッドの数 × ヘッドの次元 × 値ごとのバイト数

最初の2は、K（キー）とV（バリュー）の2つを保存するためです。値ごとのバイト数は、16ビットなら2です。¹

Qwen3などのモデルは、アテンションのヘッドのうち、KVを保存するヘッド（KVヘッド）だけを少なくした作り（GQA）です。式には、config.jsonにあるKVヘッドの数を入れます。⁵⁶

config.jsonから3つの数を拾う

1. Hugging Face（モデルを公開するサイト）でモデルのページを開き、「Files and versions」を押す
2. config.json を開く
3. 層の数は num_hidden_layers、KVヘッドの数は num_key_value_heads を見る
4. ヘッドの次元は head_dim を見る。無ければ hidden_size を num_attention_heads で割る

計算の例（Qwen3-8B・16ビットのKVキャッシュ）

Qwen3-8Bのconfig.jsonの値を式に入れると、次のとおりです。⁶

つまずきやすいところ

Ollamaの初期設定のコンテキスト長を確かめる

Ollamaは、初期設定では4,096トークンのコンテキスト長で動きます。このままなら、KVキャッシュは早見表の8,192トークンの半分です。¹³

長い文章を読ませるときは、環境変数 OLLAMA_CONTEXT_LENGTH でコンテキスト長を延ばせます。そのぶんKVキャッシュも増えます。¹³

KVキャッシュを小さくする設定がある

Ollamaでは、環境変数 OLLAMA_KV_CACHE_TYPE で、KVキャッシュ用の形式を選べます。量子化した形式（q8_0・q4_0）は、Flash Attentionという計算のしかたが有効なときに使えます。¹³

影響の大きさは、モデルと作業によって違います。KVヘッドを少なくしたモデルほど影響が大きく出ることがあり、この記事の例のQwen3もこの作りです。形式を変えたら、答えの質を確かめてください。¹³⁶

メモリが足りないときは、まず q8_0 を試すのがよいと考えています。FAQ も、f16 を使わないなら q8_0 を勧めています。¹³

VRAMとメインメモリに分けて置かれることがある

Ollamaは、モデルをVRAMとパソコンのメインメモリに分けて置くことがあります。どちらに置いたかは、ollama ps を実行すると「PROCESSOR」の欄で確かめられます。¹³

機材ごとの速さの目安は、llmspeedでローカルLLMの速度を見る記事にまとめました。

新しい作りのモデルは、この式だけでは計算できない

例として、Qwen3.8-27Bを見ます。名前は似ていますが、Qwen3-8Bとは別のモデルです。このモデルは64層のうち、アテンション層が16です。¹⁴

残りの48層は Gated DeltaNet という別の仕組みで、この記事のKVキャッシュの式は当てはまりません。その分のメモリはモデルカードに書かれていないので、読み込んだあとに ollama ps の「SIZE」の欄で大きさを確かめてください。¹¹³¹⁴

次に読む回

前の回は「ローカルLLMの『8B』『Q4_K』『VRAM』は何を表しているのか」で、この回に出てくる語を扱っています。

次の回は「量子化とは — 小さくすると何が落ちるのか、GGUFの記号（Q4_K_Mなど）の読み方」です。早見表の4ビットと8ビットで、答えの質がどれだけ変わるかを扱います。

出典

1. Mastering LLM Techniques - Inference Optimization（NVIDIA Technical Blog）（参照 2026-11-01）
2. llama.cpp tools/quantize README（Quantization の表・Memory/Disk Requirements）（参照 2026-11-01）
3. Transformer Math 101（EleutherAI Blog）（参照 2026-11-01）
4. Model memory estimator（Hugging Face Accelerate のドキュメント）（参照 2026-11-01）
5. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints（arXiv:2305.13245）（参照 2026-11-01）
6. Qwen/Qwen3-8B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
7. Qwen/Qwen3-4B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
8. Qwen/Qwen3-14B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
9. Qwen/Qwen3-32B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
10. Qwen/Qwen2.5-72B-Instruct のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
11. Qwen/Qwen3-30B-A3B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
12. Qwen/Qwen3-235B-A22B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
13. FAQ（Ollama のドキュメント）（参照 2026-11-01）
14. Qwen/Qwen3.8-27B のモデルカードと config.json（Hugging Face）（参照 2026-11-01）
15. Mixture of Experts Explained（Hugging Face Blog・2023年12月11日）（参照 2026-11-01）
16. Apple unleashes M1（Apple Newsroom・2020年11月10日）（参照 2026-11-01）