ローカルAIとは？クラウドのAIとの違いと、できること・できないこと

要点

対象：ChatGPTを使っていて、手元でも試したい

1. 文章の下書き・要約・コードは手元で作れる
2. 学習した時点より後の出来事は知らない
3. NVIDIAのGPUが無くても動かせる

ローカルAIは、AIのモデル（AIの中身にあたる大きなファイル）を自分のパソコンに入れて、手元で使う方法です。ChatGPTのようなクラウドのAI（クラウド型のAI）と違い、インターネットにつながなくても使えます。¹

この記事の目次（7節）

1. ローカルAIでできること・できないこと
2. クラウドのAIとの違い
3. どのくらいのパソコンで動くか
4. 最先端の非公開モデルとの差
5. つまずきやすいところ
6. この講座で学ぶ順番
7. 次に読む回

試すなら、パソコンのメモリに収まる大きさの公開モデル（オープンモデル）を選び、Ollamaのようなツールで動かします。公開モデルは、ファイルが公開されていて、自分のパソコンに入れられるモデルです。²⁷

この記事は、ローカルAIを何も知らないところから使えるようになるまでの、全24回の講座の第1回です。パソコンのメモリの調べ方は第7回、Ollamaの入れ方は第8回で説明します。

ローカルAIでできること・できないこと

表に挙げたモデル

Gemma 4は、Googleが2026年4月に出した公開モデルです。6月には、中くらいの大きさが1つ加わりました。¹⁴

Googleは使い道として、文章の作成・要約・会話・コードと、画像の中身の読み取りを挙げ、一部の大きさでは音声の文字起こしも挙げています。³

Whisperは、OpenAIが公開した文字起こし用のモデルです。画像を作るには、FLUX.1 [schnell] のような画像のモデルと、ComfyUIのようなツールを別に入れます。⁸⁹

画像のモデルが絵を作る流れは、画像生成AIの仕組みで図にしています。日本で作られた公開モデルもあり、ELYZAが無料で公開した日本語のモデルはその1つです。

最近の出来事に答えさせるには

Gemma 4の学習データは、2025年1月までのものです。それより後の出来事は知らず、古い情報のまま答えることもあります。³

最近の出来事についての質問に答えさせるには、検索の結果や手元の資料をモデルに読ませる仕組みを足します。

クラウドのAIとの違い

クラウドのAIの例: Geminiアプリ

Geminiアプリで「アクティビティの保存」をオフにすると、それ以後のチャットはAIの学習（トレーニング）に使われなくなります。例外は、自分でフィードバックを送ったときです。¹⁰

オフでも、チャットは72時間アカウントに残ります。Googleは、Googleや利用者、一般の人を守るために、その間のチャットを人が確認することもあるとしています。¹⁰

どのくらいのパソコンで動くか

モデルの中には、学習で調整された数値（パラメータ）がたくさん入っています。モデルの名前の「12B」は、パラメータが120億個あるという意味です。

必要なメモリは、パラメータの数と、1つの数値をどれだけ細かく記録するかで、おおよそ決まります。細かさはビット数で表し、ビット数を減らしてファイルを小さくする方法を量子化といいます。

GPU（画像やAIの計算が得意な部品）で動かすときは、GPUに付いている専用のメモリ（VRAM）にモデルを読み込みます。Macでは、CPU（パソコンの中心の部品）とGPUが共有するユニファイドメモリに読み込みます。

Gemma 4 のメモリの目安

Gemma 4を読み込むのに必要なGPUのメモリの目安を、Googleは大きさとビット数ごとに示しています。²

表の数字は目安で、使うツールや環境によって変わります。メモリの量で見ると、4bitの版のファイルが収まる大きさは次のとおりです。²

どちらの表も、モデルのファイルを読み込む分だけで、AIに読ませる文章や会話の分は入っていません。Googleが12Bに案内している目安は、16GBのVRAMかユニファイドメモリです。²⁴

OpenAIの公開モデルgpt-oss-20bも、16GBのメモリで動きます。⁵

NVIDIA以外の選択肢

GPUはNVIDIAでなくてもかまいません。モデルを動かすソフトはOllamaのほかにもあり、その1つのllama.cppは、AMDやIntelのGPUでも、AppleのMシリーズでも、CPUだけでも動きます。⁶

パソコンやGPUごとの応答の速さの目安は、llmspeedで速さを比べた記事にまとめています。

最先端の非公開モデルとの差

手元のパソコンで動く大きさの公開モデルは、最先端の非公開モデル（ChatGPTやGeminiなど）を、半年から1年ほど遅れて追いかけていると見ています。根拠は、Epoch AI（AIの進み具合を調べる研究所）の2025年9月の分析です。

この分析は、家庭用のGPU 1枚に載る大きさの公開モデルを調べました。こうしたモデルは、最先端と同じ成績に6〜12か月遅れで届いていて、実際の使い勝手での遅れはもっと長いだろうとしています。¹²

大きさを問わなければ、差はもっと小さくなります。同じ研究所の2026年5月の分析では、いちばん強い公開モデルの遅れは、2026年1月から平均4か月でした。¹¹

1年ほど前のChatGPTなどで足りていた仕事なら、手元のモデルでも足りる見込みがあると考えています。ただ、使い勝手の差はもっと大きいかもしれないので、まず自分の仕事で試してください。

つまずきやすいところ

Hugging Face（公開モデルのファイルが集まる共有サイト）には、FLUX.1 [schnell] のように、条件に同意してからでないとファイルを開けないモデルもあります。⁹

この講座で学ぶ順番

講座は、知る・動かす・使いこなす・広げる・続けるの5つの段階で進みます。

次に読む回

次の回は「ローカルLLMはクラウドのAIより得なのか、機械の値段と電気代で比べる」です。

出典

1. Gemma 4: Byte for byte, the most capable open models（Google・2026年4月2日）（参照 2026-11-01）
2. Gemma 4 model overview（Google DeepMind の Gemma の文書）（参照 2026-11-01）
3. Gemma 4 model card（Google DeepMind）（参照 2026-11-01）
4. Introducing Gemma 4 12B: a unified, encoder-free multimodal model（Google・2026年6月3日）（参照 2026-11-01）
5. openai/gpt-oss-20b のモデルカード（Hugging Face）（参照 2026-11-01）
6. ggml-org/llama.cpp の README（GitHub）（参照 2026-11-01）
7. Download Ollama（Ollama）（参照 2026-11-01）
8. openai/whisper の README（GitHub・MITライセンス）（参照 2026-11-01）
9. black-forest-labs/FLUX.1-schnell のモデルカード（Hugging Face）（参照 2026-11-01）
10. Gemini アプリのプライバシー ハブ（Google・2026年10月26日更新）（参照 2026-11-01）
11. Open models lag state-of-the-art closed models by 4 months（Epoch AI・2026年5月29日）（参照 2026-11-01）
12. What's the best model you can run on a single consumer GPU?（Epoch AI・2025年9月9日）（参照 2026-11-01）