英語文献をAIで読むときの限界 — 訳と要約をどこまで信じるか

英語文献をAIで読むときの限界とは

限界とは、どれを読むかの当たりをつけるところまでは任せられるが、引用・数値・結論は原文で確認するしかない、ということです。

英語文献を読むときにいちばん多い失敗は、訳の精度の問題ではありません。抄録だけを読んで済ませてしまうことです。抄録は結論を強めに書く場所で、サンプル数の少なさ・追跡期間の短さ・利益相反といった限界の記述は、たいてい本文にしかありません。訳す道具が良くなっても、読む場所が抄録のままなら結論は変わりません。

生成AIを入れると、この構図がもう一段ややこしくなります。読む速度が上がるので、確認していない箇所が増えたことに気づきにくくなります。

どこまで任せてよいか

境目は単純で、外れたときに自分で気づけるかどうかです。気づける用途は任せて構いません。気づけない用途は、速くなっても任せません。

長い資料の要約は会議前に長い資料を要約させるでも扱っています。

原文に紐づけさせる指示

Anthropic のガイドは、ハルシネーションを減らす基本として次を挙げています。

• 「わかりません」と言うことを明示的に許可する — 不確実性を認める許可を明示的に与えるだけで、誤った情報を大幅に減らせるとしている
• 直接引用で根拠づける — 長いドキュメント（20kトークン超）を扱うタスクでは、作業に入る前にまず一語一句そのままの引用を抽出させる
• 引用で検証する — 各主張に裏付けの引用を示させ、引用が見つからない主張は撤回させる
• 外部知識を制限する — 提供された文書の情報のみを使い、一般的な知識を使わないよう明示的に指示する

英語文献を読ませるときは、この4つをそのまま使えます。手順にすると次のようになります。

1. 抄録ではなく本文を渡す
2. 「渡した文書の中の情報だけを使い、一般的な知識を使わないでください」と明示する
3. 主張ごとに原文の逐語引用を並べさせる。長い論文は、先に関連箇所の引用だけを抽出させてから作業させる
4. 「該当箇所が見つからない場合は、わからないと書いてください」と許可する
5. 数値と結論は、自分で原文の該当箇所を開いて確認する

同ガイドは、これらの手法について「ハルシネーションを大幅に減らしますが、完全に排除するわけではない」と明記し、重要な情報は常に検証するよう述べています。手順4まで済ませても、手順5は消えません。

なお Anthropic のプロンプトのガイドは、20kトークン以上の長い入力では、長文データを指示より前（プロンプトの先頭近く）に置くとすべてのモデルでパフォーマンスが向上するとしています。論文を貼ってから指示を書く、という順番のほうが良いということです。

複数の論文を一度に渡さない

まとめて渡すと速そうに見えるが、どの主張がどの論文から来たのかを追う手間が増えます。1本ずつ処理して、比較は最後に人がやるほうが、結局は早く済みます。文献整理と抄録の下書きの手順は別稿（看護研究にAIをどう使うか）で扱っています。

FAQ