AIエージェントの運用保守で、AIが書いた記事の点検は誰がどこまでするのか

要点

対象：AIエージェントを運用し始めた担当者

1. 点検は5段。人は治療や薬の記事だけ読む
2. 差し戻しの多くは、出典と食い違う文
3. 書いたAIとは別のAIに、出典を開かせる

AIエージェントの運用保守というと、止まったときの対応や監視を思い浮かべます。この記事で扱うのは、AIエージェントが書いた記事を、誰がどう点検するかです。止まったときの対応は、別の記事にまとめました。

この記事の目次（9節）

1. 人の確認を、すべての記事では省いている
2. 5段で、誰が何を見るか
3. 書いたAIには点検させない理由
4. 点検役が差し戻した数
5. 差し戻しの中身
6. 止まったこと・直したこと
7. まだ分かっていないこと
8. 人に残した仕事
9. 自社で始めるなら

このサイトでは、記事を書くAIの出力を、公開前に5つの段に分けて点検しています。事実が出典と合っているかは、書いたAIとは別に立ち上げたAIが見ます。

人の確認を、すべての記事では省いている

Googleは、AIが書いた記事を公開する前に、人の手で事実を確かめ、正確性と信頼性を確認することが重要だと説明しています。生成AIの出力には、ハルシネーション（不正確な情報）が含まれる可能性があります。¹

このサイトの記事は、文書のファイルとして管理しています。記事を出すことは、プルリクエスト（PR。変更を取り込んでほしいという依頼）になります。取り込むこと（マージ）が、公開です。

9月25日より前は、事業主（このサイトの運営者）が1本ずつ確認してマージしていました。いまは、書いたAIが条件を確かめて、自分でマージします。

治療や薬に触れない記事では、Googleが勧める人の確認を省いています。その代わりに、機械の検査とAIの点検を5段に重ねています。

5段で、誰が何を見るか

1と5の機械の検査は、書いたAIが回します。2〜4は、書いたAIが別のAIを立ち上げて任せます。このAIを、サブエージェントと呼びます。

サブエージェントは、書いたAIから独立した、もう1つのAIです。書いたAIが読んだ資料や考えた経緯は引き継がず、渡された依頼文をもとに動きます。²

たとえると、書き手の机を見ていない校正者に、依頼書だけを渡して読んでもらうようなものです。 点検役に渡すのは、点検する記事のPRと、依頼文だけです。

下書きのメモや、題を選んだ理由は渡しません。書いたAIの考えを見せないためです。

点検役は、コメントの先頭の行に、承認（APPROVED）か、直してから出し直すよう求める差し戻し（CHANGES_REQUESTED）の語だけを書きます。

5段目は、点検役が見たあとに記事が書き換わっていれば、合格にしません。承認は、見た時点の記事に対するものだからです。

治療や薬に触れる記事は、この5段のほかに、人が読んでマージします。10月24日に記事のファイルで数えると、公開した記事に、医療リスクが高いものは0本です。

書いたAIには点検させない理由

ある研究は、GPT-4やLlama 2に文章を評価させる実験で、AIが自分の出力に高い点を付ける傾向を報告しています。人の評価者は、同じ質だと見ていました。³

書いたAIに自分の記事を点検させると、甘くなるおそれがあります。そこで、点検役は書いたAIとは別に立ち上げ、書いたAIのメモを見せずに読ませます。

ただし、別に立ち上げただけで、この傾向が消えるかは確かめていません。点検役を書き手とは別のモデルにして比べたこともありません。

点検役が差し戻した数

次の表は、新しい記事のPR（題名が「記事:」で始まるもの）で、点検役の判定を数えたものです。どれもマージ済みです。表の2つの期間は、日本時間です。

数えたのは、PRに付いたコメントのうち、先頭の行が判定の語だけのものです。2026年10月24日の19時台に、GitHubで数えました。

期間の長さが違うので、割合で見ます。最初の判定が承認だった割合は、約23%から約46%に増えました。

この増え方が点検役のおかげかは、言い切れません。書き方の決まりをいくつか変えた日があり、増えた理由は切り分けられません。

差し戻しの中身

10月14日以降の差し戻し45件を読み返し、指摘の種類ごとに数えました。

1件の差し戻しに複数の指摘が入ることがあるので、件数は足し算できません。1つ目は、指摘の文面に「出典に」「強い」「条件」などの語があるものを数えました。

「月額」と「税込」が抜けていた（10月21日）

LステップのAI返信の記事に、「API連携を足す追加の料金は5,500円です」という文がありました。出典の表記は「追加料金 月額5,500円（税込）」です。

月額が抜けると、1回だけ払う料金にも読めます。税込が抜けると、総額が違って見えます。読者役の2回の試し読みも、この文を挙げていました。点検役は、「月5,500円（税込）」と書き、表の合計と合うことも示すよう求めました。

「設計されている」を「断ります」と書いた（10月22日）

Claude Duetの記事に、「クレジットカードの番号や身分証の情報を渡すよう頼まれても、断ります」という文がありました。Anthropicの発表も国内の報道も、断るように「設計されている」と説明しています。

「設計されている」は、断るよう作られているという説明にとどまり、必ず断るという約束ではありません。安全にかかわる文なので、点検役は、必ず断るという約束と受け取られない言い方に、直すよう求めました。

この種の差し戻しは、機械の検査では見つけにくいと考えています。出典を開いて本文と見比べると、見つかります。

止まったこと・直したこと

固さのパターンを、機械と点検役に分けた（10月11日）

AIが書く文章の固さを、8つのパターンに分けました。たとえば、出典の文末「〜としています」を同じ節で繰り返す文です。

数えやすい3つは機械に、残る5つは点検役に任せました。機械では、固くない文を固いと判定する例が多く出たからです（10月11日の開発日誌）。

点検役がこの5つを安定して拾えるかは、確かめていません。

点検で止まり、記事が出なかった（10月12日）

日本時間の9時と12時に記事を書く回で、読者役の試し読みが通りませんでした。2回とも挙がった文が、通る条件の4つ以下を超えたからです。試し読みが通らないときは、人の確認待ちにする決まりでした。そのため、記事は出ませんでした。

事業主が「必ず出すように」と求めたので、通らないときは、まず直し、次に書き直し、それでも通らなければ題を替えて、1本出すまで続ける手順にしました。基準は下げていません（10月12日の開発日誌）。

点検のやり直しが4回続いた（10月13日）

午前に出した1本で、点検のやり直しが4回続きました。AIの報告では、この点検に使った利用量を、定価の料金で計算すると約10ドルでした。この額は計算した値で、実際の請求額ではありません。

出た指摘は7件で、原因は3つに分かれました。

1つ目は、機械の検査の穴です。出典は、同じ会社のページを半分未満に抑える決まりです。この数え方で、同じ会社でも、サイトのアドレスが違うと別の会社として数えていました。

2つ目は、直した文が新しい誤りを生んだことです。出典を入れ替えたあと、脚注の番号がずれました。

3つ目は、決まりの当て方の食い違いです。段落の長さには上限があり、同じ段落を、点検役は空白も数えて125字とし、機械は上限の内側として通していました。

それぞれ、機械の検査を足しました。直すときに確かめることを、手順書に足しました。2回目からの点検役は、前回の指摘と、前回のあとに直した文だけを見るようにしました（10月13日の開発日誌）。

サブエージェントも、メインの会話と同じ使用制限（契約したプランで使える量の上限）の対象です。² 点検をやり直すほど、使う分も増えます。

まだ分かっていないこと

• 点検役が承認した記事に、公開後に誤りが見つかった割合は、数えていません
• 直した文だけを見る点検が、直していない文の見落としを増やすかは、分かりません
• 点検役の指摘が、読者の役に立つ直しだったかは、PRのコメントからは見えません

人に残した仕事

• 治療や薬に触れる記事を読んで、マージするか決める
• 点検役が見る項目と、書き方の決まりを決める
• 事業主が読んで「分かる」と言った記事を、書き方の手本として記録に残す。AIの判定が、人の読み方とずれていないかを確かめるためです

自社で始めるなら

最初から5段にそろえる必要はないと考えています。差し戻しの多くは、出典と食い違う文でした。数字や条件を出典と見比べると、見つかります。AIエージェントの出力を見張る最初の一歩は、次の2つにできます。

1. 公開前に、AIエージェントが書いた本文の数字・料金・固有名詞を、出典のページと1つずつ見比べる
2. その見比べを、書いたAIとは別に立ち上げたAIに頼み、渡すのは記事と出典の一覧だけにする

記事以外の成果物でも、数字や固有名詞を元の資料と見比べる点は同じです。

AIエージェントの出力を自社で見張るなら、数字で判定できる検査と、出典を開いて見比べる別のAIに、点検を分けるのがよいと考えています。

出典

1. Google 検索セントラル「生成 AI コンテンツに関するガイダンス」（公式ドキュメント。2026年10月6日更新）（参照 2026-10-24）
2. Claude Code「カスタムサブエージェントの作成」（公式ドキュメント）（参照 2026-10-24）
3. Panickssery ほか「LLM Evaluators Recognize and Favor Their Own Generations」（2024年4月15日投稿の論文）（参照 2026-10-24）