AIが書いた日本語の違和感は、AIに採点させて減らせるのか

当サイトでは、人が編集方針を決め、執筆から校閲、公開までをAIが担っています。 今週から、書き手のAIが自動チェックを通った記事を自分で公開するようになりました。 いちばん時間をかけたのは、不自然な日本語を直すことでした。

この記事の目次（4節）

1. この週の数字
2. この週にやったこと
3. 1本ずつの採点は、不自然な日本語に甘い
4. 次にやること

この記事に出てくる開発用語について。 プルリクエスト（PR）は、変更をまとめて取り込みを依頼するものです。マージは、その変更を公開用のコードに取り込むことです。開発用のコードは非公開のため、個々の変更へのリンクは載せていません。

この週の数字

集計期間は2026年9月21日（月）〜27日（日）です。

記事の本数は公開中のサイトで、PRの件数は開発の記録で、どちらも9月27日午前8時48分に数えました。 マージした44件は、すべて25日〜27日の3日間のものです。

この週にやったこと

テーマ選びから公開まで書き手のAIに

書き手のAIは、毎回ニュースや各社の発表を調べてからテーマを決めます。 公開の前には、別のAIが出典に当たって内容を確かめます。 医療上の注意が要らない記事か、要っても軽い記事なら、この確認を通った時点で書き手のAIが公開します。 書き手のAIは25日から1日5回動いています。26日からは、その5本をニュース2本・実務解説2本・業界別1本に分けました。

画像がなくても公開できるようにした

これまでは、画像が1枚できないだけで記事の公開まで止まっていました。 記事の先頭の画像は画像生成AIで作っており、利用回数に上限があります。 上限に達した日は画像なしで公開し、生成AIが使えるようになった日に差し込みます。

記事ページと一覧を刷新

記事ページは本文の文字を大きくし、見出しと要点を拾い読みしやすくしました。 各記事に付けていた「AIが書いた」の表示は外しました。 運営の体制は、各記事ではなくこのサイトの構成でまとめて説明しています。 記事一覧は1ページに10本ずつ表示し、行ごとに記事の画像を付けました。

1本ずつの採点は、不自然な日本語に甘い

運営者の一言で気づいた

きっかけは、タイトルに違和感があるという運営者の一言でした。 それまでの作り方では、英語の決まり文句を直訳したようなタイトルが出ていました。 それでも自動チェックは通っていました。 文字数や禁止語は見ていても、日本語として自然かどうかは見ていなかったからです。

他社の検証では、1本ずつの採点が甘かった

25日には、別のAIに候補を1本ずつ採点させ、最も点の高いものを選んでいました。 ところが Preferred Networks（PFN）の検証²では、推論をしないモデルに文章を1本ずつ採点させると、不自然な日本語にも満点を付けていました。 PFNは、推論するモデルなら判定が比較的妥当になり、人が書いた正解例と比べさせる方式なら、推論をしないモデルでも差を適切に評価できているようだとしています。 この結果を踏まえ、26日に比べさせる方式へ改めました。

3つの型で作り、並べて選ぶ

まず、3つの型（ニュース解説型・問いかけ型・結論見出し型）でタイトルの候補を作ります。 次に別のAIに、どの型かを伏せて、候補を2本ずつ比べさせました。 同じ出来事を報じたニュースサイトがあるときは、その見出しと記事も比べる相手に並べる決まりにしました。 タイトルの付け方は、Yahoo!ニュース トピックス編集部の「記事の本文中にある表現を使わなければなりません」という決まりに倣いました¹。

元のタイトルは、比べたどの記事でも1位になりませんでした。 この結果を受けて、候補を3つの型で作り、比べて1本に絞ることを決まりにしました。

観点が1つ欠け、出来事の抜けたタイトルを選んだ

27日（日）には、この仕組みでの失敗が出ました。 画像の流出を扱ったニュース記事に、「学習の設定をオフにすれば済むのか」というタイトルを付けてしまったのです。 6本の候補はどれも、検索のサジェストの多い「学習の設定」を軸にしていました。 6本とも、画像が流出したという肝心の出来事が抜けていました。 比べる観点に「何が起きたかが伝わるか」がなく、報じた媒体の見出しとも比べていなかったため、それに気づけませんでした。

ニュースを扱う記事では、読者がその出来事の検索に使う言葉をタイトルに入れることにしました。 国内の報道機関が報じていれば、その見出しを必ず比べる相手に並べます。 選び直しの途中では、「…持ち主はOpenAIにも分からない」で終わる1位の候補に、校閲役のAIが「持ち主」「分からない」が不自然だと指摘しました。 その語を改めた候補も加えて比べると、元の1位は3位に下がりました。 決まったタイトルは「ChatGPT利用者の画像53件が流出、OpenAIは本人に通知できず」です。

本文にも同じ癖があった

タイトルを直すと、本文の不自然な言い回しも目に付くようになりました。 本文の日本語については、次の3つを決めました。

• 翻訳調の言い回しは、好みではなく誤りとして直す
• 書いたあとに別のAIに日本語を校閲させ、指摘された箇所は全部直す
• 一度指摘された言い回しは一覧に加え、自動チェックで見つけて止める

日本語とは別に、記事の作りにも問題がありました。 運営者が指摘したのは、記事に付けていた「1週間つける棚卸し表」や「任せる前に見る5項目」です。 どの記事にも同じ要素を同じ順で入れる決まりのせいで、読者に要らない手間をかけさせていました。 記事の種類ごとに要素を選ぶようにし、タイトルの下の要約文も外しました。

まだ分かっていないこと

候補を選んだのはAIの判定で、読者がどのタイトルをクリックするかは確かめていません。 米国の研究³では、疑問形のタイトルは読者の反応を下げたという結果が出ています。 そのため問いかけ型でも「？」は使わず、「〜か」で終えています。 観点が1つ欠けただけで選び方を誤りました。いまの観点で足りているかも、まだ分かりません。

次にやること

• タイトルの型ごとのクリック率を、Search Consoleの2週間分のデータで比べる
• 週1本の記事の見直しで、翻訳調も直す
• 9月28日の分から、開発日誌を毎日書く

---

同じ仕組みを導入したい方へ。 記事づくりをAIに任せながら、人が最後に目を通せる体制づくりを、無料でご相談いただけます。

出典

1. news HACK by Yahoo!ニュース『Yahoo!ニュース トピックス「13文字見出し」の極意　難関「コートジボワール」はどう表現？』（参照 2026-09-27）2017年9月27日の記事。
2. Preferred Networks「日本語の自然さを測る評価手法の検証」（参照 2026-09-27）2026年2月20日。人の評価とどこまで一致するかは、まだ分からないとしています。
3. Fang & Wheeler "Titles Framed as Questions Reduce Reader Engagement"（Stanford GSB）（参照 2026-09-27）掲載誌はJournal of Consumer Psychology（2026年7月）。
4. 文章を書かないAI「Jev」は、問い合わせの振り分けに使えるか（今週タイトルを付け直した記事）（参照 2026-09-27）
5. ChatGPT利用者の画像53件が流出、OpenAIは本人に通知できず（今週タイトルを付け直した記事）（参照 2026-09-27）