英語文献をAIで読むときの限界 — 訳と要約をどこまで信じるか

英語文献をAIで読むときの限界とは

限界とは、どれを読むかの当たりをつけるところまでは任せられるが、引用・数値・結論は原文で確認するしかない、ということである。

筆者は前職が看護師である。英語文献を読むときにいちばん多い失敗は、訳の精度の問題ではない。抄録だけを読んで済ませてしまうことである。抄録は結論を強めに書く場所で、サンプル数の少なさ・追跡期間の短さ・利益相反といった限界の記述は、たいてい本文にしか無い。訳す道具が良くなっても、読む場所が抄録のままなら結論は変わらない。

生成AIを入れると、この構図がもう一段ややこしくなる。読む速度が上がるので、確認していない箇所が増えたことに気づきにくくなる。

どこまで任せてよいか

境目は単純で、外れたときに自分で気づけるかどうかである。気づける用途は任せてよい。気づけない用途は、速くなっても任せない。

原文に紐づけさせる指示

Anthropic のガイドは、ハルシネーションを減らす基本として次を挙げている。

• 「わかりません」と言うことを明示的に許可する — 不確実性を認める許可を明示的に与えるだけで、誤った情報を大幅に減らせるとしている
• 直接引用で根拠づける — 長いドキュメント（20kトークン超）を扱うタスクでは、作業に入る前にまず一語一句そのままの引用を抽出させる
• 引用で検証する — 各主張に裏付けの引用を示させ、引用が見つからない主張は撤回させる
• 外部知識を制限する — 提供された文書の情報のみを使い、一般的な知識を使わないよう明示的に指示する

英語文献を読ませるときは、この4つをそのまま使える。手順にすると次のようになる。

1. 抄録ではなく本文を渡す
2. 「渡した文書の中の情報だけを使い、一般的な知識を使わないでください」と明示する
3. 主張ごとに原文の逐語引用を並べさせる。長い論文は、先に関連箇所の引用だけを抽出させてから作業させる
4. 「該当箇所が見つからない場合は、わからないと書いてください」と許可する
5. 数値と結論は、自分で原文の該当箇所を開いて確認する

同ガイドは、これらの手法について「ハルシネーションを大幅に減らしますが、完全に排除するわけではない」と明記し、重要な情報は常に検証するよう述べている。手順4まで済ませても、手順5は消えない。

なお Anthropic のプロンプトのガイドは、20kトークン以上の長い入力では、長文データを指示より前（プロンプトの先頭近く）に置くとすべてのモデルでパフォーマンスが向上するとしている。論文を貼ってから指示を書く、という順番のほうが良いということである。

複数の論文を一度に渡さない

まとめて渡すと速そうに見えるが、どの主張がどの論文から来たのかを追う手間が増える。1本ずつ処理して、比較は最後に人がやるほうが、結局は早い。文献整理と抄録の下書きの手順は別稿（看護研究にAIをどう使うか）で扱っている。

FAQ

Q. 翻訳ツールと生成AI、どちらで読むべきですか。 訳文の精度だけなら大きな差を感じない場面が多いです。差が出るのは「この主張の根拠になっている文を抜き出して」のような、読み方まで指示できる点です。

Q. 有料の論文で本文が手に入りません。 抄録だけで結論を引用しないでください。抄録は結論を強めに書く場所です。本文が読めないなら、その文献は候補から外すか、図書館経由で取り寄せてください。

Q. 出てきた逐語引用が原文に見当たりません。 その主張ごと使わないでください。引用が見つからない主張は撤回させる、というのが元のガイドの手順でもあります。

Q. 院内の勉強会で紹介する程度でも原文確認が要りますか。 要ります。紹介した時点で、聞いた人はあなたの確認を信用します。