ローカルLLMで日本語に強いモデルは？評価の表の読み方とトークン数の違い

要点

対象：日本語で使うローカルLLMを選びたい人

1. 日本の知識の項目はLLM-jp-4 8Bが0.514
2. 同じ83文字が32〜66トークンに分かれる
3. 評価の平均には数学とコードも入る

ローカルAIを一から学ぶ講座の12回目です。「日本語に強い」ローカルLLM（手元のパソコンで動かす、文章を作るAI）というとき、見るところは2つあります。

この記事の目次（6節）

1. モデルによって日本語の出来が違う理由
2. 同じ日本語の文章は何トークンになるか
3. 日本語のリーダーボードの読み方
4. 何を重視するかで見る項目を選ぶ
5. つまずきやすいところ
6. 次に読む回

1つは日本語をどれだけ学んだか、もう1つはトークナイザ（文章をトークンという小さな単位に区切る仕組み）が日本語をどう区切るかです。

日本語のリーダーボード（モデルの点数を並べた評価の表）の Swallow LLM リーダーボードで、9B（パラメータ数が約90億）以下のモデルの点を比べました。

2026年11月1日時点では、日本の知識を問う項目で LLM-jp-4 8B が、日本語の平均で Qwen3.5-9B が最も高い値でした。

全部の項目で1位のモデルは無いので、使う場面の項目で2つか3つに絞ります。Ollama（手元でLLMを動かすアプリ）などで入れて、自分の仕事の文章で同じ質問をし、答えを比べて決めます。

同じ文章を少ないトークンで表せるモデルほど、1秒に出すトークンの数が同じでも、多くの文字を出せます。

モデルによって日本語の出来が違う理由

英語以外の学習データは少ない

2024年4月に出た Llama 3（Llama 3.1 の1つ前の版）では、学習データのうち英語以外のデータは5%あまりで、30を超える言語にわたります。これらの言語の性能は英語と同じ水準には届かない、というのが Meta の見込みです。¹

国立情報学研究所の LLM-jp-4 シリーズでも、事前学習用に集めた約19.5兆トークンのうち、英語が約17.8兆、日本語は約7,000億トークンです。²

日本語を追加で学ばせたモデル

海外のモデルを元に、日本語を追加で学ばせたモデル（継続事前学習という）もあります。Swallow LLM のチームが作った Qwen3 Swallow は、Qwen3 に約2,097億トークン分の文章を追加で学ばせています。

日本語の主な材料は、日本語のウェブの文章（Swallow Corpus）と日英の対訳で、ほかに英語の文章や数学の問題、プログラムのコードも入っています。³

トークナイザとは

トークナイザは、モデルごとに決まったトークンの一覧（語彙）で文章を区切ります。⁴ 語彙に「見積書」が1つの単位で入っていれば1トークン、なければ「見」「積」「書」のように細かく分かれます。

日本語を足して学ばせても、区切り方は元のままのことがあります。実測すると、Qwen3 Swallow 8B は語彙数も区切った結果も Qwen3-8B と同じでした。

同じ日本語の文章は何トークンになるか

実際に数えた結果

2026年11月1日に、各モデルが公開しているトークナイザで数えました。^567891011

数えた日本語（83文字）と英訳（空白を含めて226文字）です。

来週の火曜日に、取引先との打ち合わせがあります。見積書の金額と納期を確認し、変更があれば前日までに担当者へ連絡してください。会議の資料は共有フォルダに置いてあります。

We have a meeting with a client next Tuesday.

Please check the amount and delivery date on the quote,

and if anything has changed, contact the person in charge by the day before.

The meeting materials are in the shared folder.

英訳はどのモデルでも46トークンで、差が出たのは日本語だけでした。数えた文章は1つだけなので、文章が変われば数も変わります。

同じトークナイザを使うモデルなら、大きさが違ってもトークン数は同じです。LLM-jp-4 を元にした33Bの ELYZA-Thinking-1.0-llm-jp-4-33b も、同じ32トークンでした。¹⁸

区切り方の違い

「見積書の金額と納期」の部分を、3つのモデルがどう区切ったかを並べます。

Qwen3.5-9B では、語彙数が Qwen3-8B の151,669から248,070に増え、この文章のトークン数は54から43に減りました。

生成の速さと扱える長さはどう変わるか

ローカルLLMの生成の速さは、1秒あたりのトークン数（tok/s）で表します。例えば、LLM-jp-4 8B と Llama 3.1 Swallow 8B が、どちらも1秒に20トークンを出すとします。

上の表の1トークンあたりの文字数で計算すると、1秒に出せる文字は、LLM-jp-4 8B がおよそ52文字、Llama 3.1 Swallow 8B がおよそ27文字です。

コンテキスト長（一度に扱える長さ。入力と出力の合計）でも差が出ます。32,768トークンなら、同じ割合で計算すると、LLM-jp-4 8B がおよそ8万5,000文字、Llama 3.1 Swallow 8B がおよそ4万4,000文字です。

KVキャッシュ（入力と出力のトークンの計算結果を保存する領域）も、扱うトークン数に比例して増えます。²⁰ 日本語を多くのトークンに分けるモデルほど、同じ文章で使うメモリも増えます。

日本語のリーダーボードの読み方

日本語のリーダーボードには、Weights & Biases の Nejumi LLM リーダーボード4（2026年10月2日更新）もあります。

Nejumi の総合点には、コード生成・ツール呼び出し・安全性も入ります。¹⁵¹⁶ 日本語の項目ごとの点を見たいので、ここでは Swallow LLM リーダーボードを使います。

平均だけでなく項目を見る

Swallow LLM リーダーボードから、9B以下のモデルを抜き出しました。2026年11月1日時点の点で、評価方法が2026年5月8日に変わってからのものです。点は0〜1で、1が最高です。¹²¹³

JamC-QA は、日本の文化・地理・歴史・法律など8つの分野から出した4択の問題で、全部で2,309問あります。¹⁴

日本語MT-Bench は、2回続けて質問し、その答え方（マルチターンの対話）を AI が採点する問題集です。この表の採点役は GPT-5.2 です。¹³¹⁹

日本語の平均は8つの課題の点の平均で、日本の知識はそのうちの1つです。日本語の会話は平均に入っていません。ほかの課題は翻訳・数学・コードなどです。¹²

LLM-jp-4 8B は、数学の問題集（PolyMath）が0.08と低いことも、平均を下げています。¹²

Llama 3.1 Swallow 8B は、Meta の Llama 3.1 に日本語を追加で学ばせたモデルです。¹⁰

同じ Llama 3.1 から Meta が作った Llama 3.1 8B Instruct より、日本の知識で0.186、日本語の平均で0.062高い値です。¹²

ほかの表の点とは並べない

国立情報学研究所の発表では、日本語MT-Bench の点は LLM-jp-4 8B が7.54、Qwen3-8B が7.14で、10点満点です。²¹⁹ 上の表の0.706と0.689は1点満点で、採点役も違います。¹²¹³

Swallow LLM リーダーボードの運営チームは、自分たちの Swallow のモデルも含め、各モデルの仕様を加味した公平な条件で評価していると説明しています。ただし、点の有効数字3桁目以降は再現が難しいとも書いています。¹³

開発元の発表の点は、ほかの表と並べず、同じ表の中のモデルどうしで比べてください。

何を重視するかで見る項目を選ぶ

つまずきやすいところ

表の名前と、ダウンロードするモデルの名前を合わせる

Qwen3 Swallow 8B には、学習の段階ごとに CPT（日本語を追加で学ばせただけ）・SFT（指示への答え方も学ばせた）・RL（さらに強化学習をした）の3つがあります。日本語の平均は0.435・0.449・0.510と違います。³¹²

2026年9月28日に LLM-jp-4.1 が出ました。表の LLM-jp-4 8B はその前の版で、LLM-jp-4.1 はまだ表に載っていません。¹²

LLM-jp-4.1 では、事後学習（答え方などを身につける学習）に使う数学や科学のデータが増えています。¹⁷

LLM-jp-4.1 の点はまだ表に無いので、表の点で比べられるのは LLM-jp-4 8B のほうだけです。LLM-jp-4.1 を選ぶなら、表の点はそのまま当てはまりません。

次に読む回

この講座の前の回は「Hugging Face の歩き方 — モデルカードの読み方と、ファイルの種類（safetensors・GGUF）」です。

次の回は「同じモデルで答えが変わる理由 — システムプロンプトとチャットの型（テンプレート）」です。選んだモデルへの、日本語での指示の出し方を扱います。

出典

1. Meta「Introducing Meta Llama 3」（2024年4月18日）（参照 2026-11-01）
2. 国立情報学研究所「LLM-jp-4」の公開のお知らせ（2026年4月3日）（参照 2026-11-01）
3. Swallow LLM「Qwen3-Swallow-8B-RL-v0.2」のモデルカード（Hugging Face）（参照 2026-11-01）
4. Hugging Face「Tokenization algorithms」（Transformers のドキュメント）（参照 2026-11-01）
5. 国立情報学研究所 大規模言語モデル研究開発センター「llm-jp-4-8b-thinking」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
6. Qwen「Qwen3.5-9B」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
7. Google「gemma-4-E4B-it」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
8. Qwen「Qwen3-8B」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
9. OpenAI「gpt-oss-20b」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
10. Swallow LLM「Llama-3.1-Swallow-8B-Instruct-v0.5」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
11. NVIDIA「NVIDIA-Nemotron-Nano-9B-v2-Japanese」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
12. Swallow LLM「Swallow LLM Leaderboard」事後学習モデル（日本語）と日本語MT-Bench の表（参照 2026-11-01）
13. Swallow LLM「Swallow LLM Leaderboard について」（評価の方法と更新の記録）（参照 2026-11-01）
14. SB Intuitions「JamC-QA」のデータセットのページ（Hugging Face）（参照 2026-11-01）
15. Weights & Biases「Nejumi LLM Leaderboard 4」（2026年10月2日更新）（参照 2026-11-01）
16. wandb「llm-leaderboard」の README（Nejumi Leaderboard 4 の評価の項目と設定）（参照 2026-11-01）
17. LLM-jp「LLM-jp-4.1」シリーズの公開（2026年9月28日）（参照 2026-11-01）
18. ELYZA「ELYZA-Thinking-1.0-llm-jp-4-33b」のモデルカードと tokenizer.json（Hugging Face）（参照 2026-11-01）
19. Stability AI「FastChat」の jp-stable の llm_judge の README（Japanese MT-Bench の採点）（参照 2026-11-01）
20. NVIDIA「Mastering LLM Techniques: Inference Optimization」（NVIDIA Technical Blog。KVキャッシュの大きさ）（参照 2026-11-01）