要点
対象：仕事で生成AIを使い始めた会社の担当者
- 次に来そうな言葉を1つずつ選んで足す
- 学習していないことは間違えることも
- 数字・名前・日付は元の資料で確かめる（筆者）
「知っているなら、日と月だけで答えて」。2025年の論文で、研究者たちは、自分たちの1人の誕生日を生成AIにこう尋ねました。3回尋ねると、AIは3回とも違う日付を答え、どれも誤りでした。知らないなら答えなくてよい、と伝えたのにです。4
生成AIは、入力された文章に続く言葉を1つずつ足していきます。12 その答えは、何かを調べた結果ではありません。
まず文章を細かく区切る
「トークン」は、生成AIが文章を扱うときの小さな単位です。以下では、トークンを「言葉」と呼びます。生成AIは、入力された文章を、まずこの単位に区切ります。2
トークンは、単語のこともあれば、単語の一部や1文字のこともあります。2
チャットの画面では、ふつうトークンは見えません。ただ、AIはこの単位で文章を読み、書いています。2
続きの候補に確率を付け、1つ選んで足す
AIは区切った文章を読み、候補の言葉ごとに確率を付けて、その中から1つを選んで後ろに足します。12
「むかしむかし」の続き
東京大学の吉田塁准教授の教材は、「むかしむかし」と入力した例で説明しています。候補には「あるところに」「おじいさんが」「暑い日のこと」などがあり、確率の高い「あるところに」が出力されます。1
選んだ言葉を足したら、また次の言葉を選びます。これを繰り返して長い文章を作ります。AIは、このように1つずつ言葉を出すように学習しています。5
同じ質問でも言い回しが変わる
選び方には幅があり、その幅を決めるAIの中の設定を「温度」と呼びます。温度が高いといろいろな言い方が出やすく、低いと確率がいちばん高い言い方に寄ります。2
そのため、同じ質問でも言い回しが変わることがあります。2
大量の文章で学習し、人の評価で調整する
ここまでの流れで答えられるようになるまでには、先に開発の段階での学習があります。
事前学習
生成AIは、開発の段階で大量の文章を読み、それまでの文章から次に来る言葉を当てる学習をします。これを事前学習と呼びます。2
事前学習を終えただけのAIは、質問に答えたり、指示に従ったりするのが得意ではありません。そこで、追加の学習（ファインチューニング）と、人が答えを評価してその結果で直す仕組みで、使いやすくします。2
人が答えに順位を付ける
人の評価で直す方法では、人が複数の答えを比べて順位を付け、上位の答えに近づけていきます。この方法を「人間のフィードバックによる強化学習（RLHF）」と呼びます。2
OpenAIの研究者は2022年の論文で、この方法で調整した小さなAIと、調整していない100倍以上大きいAIを比べました。評価役の人たちは、小さなAIの答えのほうを良いと判断しました。3
よくある誤解
「AIは覚えた事実を探して答えている」
チャットの画面が検索に似ているので、そう思う人も多いのではないでしょうか。デジタル庁のガイドブックは、学習データに情報があったとしても、AIが「知識として確実に学習できるとは限らない」と注意を促しています。6
知っているから言い切る？
冒頭の誕生日の例のように、生成AIは知らないことも言い切ることがあります。こうした誤りを、ハルシネーション（幻覚）と呼びます。6
論文の著者たちはその理由を、AIの学習や、AIの成績を測る試験が、「わかりません」と答えるより推測で答えるほうを高く評価する作りだからだと論じています。空欄にするより、推測でも書いたほうが点を取れる試験の受験生にたとえています。4
米Anthropicは、自社のAI（Claude 3.5 Haiku）の内部を調べました。ふだんは「答えない」側に傾く仕組みが働き、知っている人物について聞かれたときだけ、それが外れるそうです。
ただ、名前に聞き覚えがあるだけで外れて、知らない人物について答えを作ってしまう場合もあると報告しています。5
仕事で使うときに気をつけること
元になる資料を質問と一緒に入力する
AIが一度に読んで扱える文章の量を「コンテキストウィンドウ」と呼びます。学習データとは別に、作業中だけ手元に置く資料のようなものです。2
社内の規程や手順書について聞くときは、その文章を質問と一緒に貼り付けましょう。2 社外秘の文書を入力してよいかは、先に社内の利用ルールで確かめておきましょう。
質問に合う資料を自動で探してAIに渡す仕組み（RAG）もあります。院内マニュアルをRAGで扱う記事の考え方は、社内のマニュアルにも当てはまります。
数字・名前・日付は元の資料で確かめる
デジタル庁のガイドブックは、AIの知識に無いことを答えさせる使い方を、不適切な例に挙げています。デジタル庁AI班の職員数を尋ねると、根拠のない、事実と異なる人数を答えることがある、と書いています。6
冒頭の例のように、頼み方を工夫しても推測で答えることはあります。筆者は、数字・名前・日付・最近の出来事は元の資料で確かめる、と手順を決めておくほうが確実だと考えます。
このサイトの記事も生成AIが下書きしています。2026年10月時点では、公開の前に別のAIが出典を3件以上開き、本文と合っているかを確かめています。人がどこまで読むかは、AIの下書きの確認についての記事に書きました。
反対に、筆者の見方では、メールの下書きや、貼り付けた議事録の要約のように、元の文章が手元にある仕事は、仕組みの上でも任せやすいと言えます。
答えの候補が決まっている仕事なら、文章を作らずに選択肢から1つを選ぶAI（文章を書かないAI「Jev」）もあります。
生成AIの答えを社内の文書に使う前に、まず数字と名前を1つずつ、元の資料と見比べることから始めてください。
出典
- 東京大学 吉田塁「生成AIの仕組み テキスト生成の仕組み」（教育における生成AI活用推進リーダープログラム、2026年4月）（参照 2026-10-09）
- Anthropic「Glossary」（Claude Docs）（参照 2026-10-09）
- Ouyang ほか「Training language models to follow instructions with human feedback」（arXiv:2203.02155、2022年3月）（参照 2026-10-09）
- Kalai ほか「Why Language Models Hallucinate」（arXiv:2509.04664、2025年9月）（参照 2026-10-09）
- Anthropic「Tracing the thoughts of a large language model」（2025年3月27日）（参照 2026-10-09）
- デジタル庁「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」（2024年6月10日）（参照 2026-10-09）
