院内研修の理解度確認問題をAIで作る — 覚えてほしいことから逆算する

確認問題づくりにおける生成AIの役割とは

確認問題づくりにおける生成AIの役割とは、何を覚えてほしいかを決めることではなく、決まった学習目標から、配布資料の中だけで答えられる問題を組み立てることである。

学習目標を決めるのは研修担当で、それを問題の形にするのは作業である。

筆者は前職が看護師である。院内研修の準備で時間を食うのは、資料を作る工程とは限らない。資料は前年のものが下敷きになることが多く、止まるのは確認問題のほうである。 同じ問題を使い回すと答えが出回り、作り直そうとすると資料を読み返すところからやり直しになる。結果として確認問題が形だけ残り、研修の効果を測る手段が実質なくなる——という流れが起きやすい。

先に決めること：問題ではなく、学習目標

問題文から考え始めると、作りやすい問題（用語の暗記）ばかりになる。先に決めるのは次の1文である。

「この研修のあと、受講者に何ができるようになっていてほしいか」

これは人が決める。ここをAIに相談すると、研修の目的が現場の課題ではなく一般論にすり替わる。

問題の型と使い分け

型を混ぜるほど作成の手間は増える。全部を作る必要はなく、学習目標が「できるようになる」なら記述か場面設定を1問入れるだけで、丸暗記との差が出る。

手順

1. 資料を先に、指示を後に置く

（配布資料の全文）

上の資料をもとに、確認問題を作成します。学習目標は「◯◯」です。資料に書かれている内容だけを使い、資料の外の知識は使わないでください。

Anthropic のベストプラクティスは、長いドキュメントを扱う際は長文データをクエリや指示より前に置くことを推奨し、クエリを末尾に置くと応答品質がテストで最大30パーセント向上したとしている。資料が長いほど、この並び順が効く。

2. 資料の外から出題させない

Anthropic は、提供されたドキュメントの情報のみを使い一般的な知識を使わないよう明示的に指示することを、ハルシネーションを減らす手法として挙げている。研修の確認問題では、これが安全側の設計そのものになる。資料に書いていないことを問う問題は、受講者にとって答えられないだけでなく、誤った内容が正答として配られる経路になる。

3. 正答の根拠を引用で示させる

各問題について、正答の根拠になった資料の該当箇所を一語一句そのまま引用して添えてください。引用が見つからない問題は削除してください。

Anthropic は、各主張に対して引用と出典を示させることで応答を監査可能にでき、裏付ける引用が見つからない場合はその主張を撤回させる、という検証の型を挙げている。確認問題では、この一手で作文された設問がその場で落ちる。研修担当が全問を資料と突き合わせる時間も要らなくなる。

4. 出題範囲の偏りを点検させる

作成した問題が、資料のどの章から出ているかを一覧にしてください。出題が無い章があれば挙げてください。

前半に問題が集中する偏りは、人が読み返しても気づきにくい。一覧にさせると一目で分かる。

やってはいけないこと

• ひっかけ問題を作らせない。 「もっともらしい誤答を作って」と頼むと、現場で誤って覚えられると困る内容が誤答として並ぶ。誤答は資料の中の別の項目から取る
• 医学的な正誤の判断をAIに委ねない。 正答が正しいかどうかは、資料と院内基準で確認する。ここは委譲できない
• 解説文をそのまま配らない。 解説はAIが書けるが、内容の文責は研修担当にある。渡す前に読み、資料と一致しない記述は落とす
• 患者情報を含む事例をそのまま入力しない。 場面設定問題は、実在の事例ではなく資料内の記述から組む

使い回しへの対処

同じ資料から同じ学習目標で複数セットを作らせておくと、翌年に作り直す負荷が下がる。問題の並びや設問の言い回しを変えたセットを最初にまとめて作り、年ごとに使うセットを変える。中身の点検は初回にまとめてやればよく、確認問題が形骸化する原因である「作り直しの重さ」がここで外れる。

FAQ

Q. 何問くらいが適切ですか。 決まった数はありません。学習目標1つにつき1〜2問を目安にし、目標が3つなら3〜6問で足ります。

Q. 資料が長すぎて貼れないときは。 章ごとに分けて渡し、章単位で作らせてから統合します。分けたほうが偏りも見えます。

Q. 記述問題の採点はAIに任せられますか。 採点基準を人が決め、採点そのものは人が持ちます。基準に沿った採点例の下書きまでは任せられます。

Q. 受講者に「AIで作った問題」と伝えるべきですか。 施設の方針によります。方針にかかわらず、出題内容の文責は研修担当にあります。

研修の運用や教育資料の整備まで含めて、書き物の負荷をどこまで機械に渡せるかを検討する段階になりましたら、設計のご相談を承っています。