AIの文字起こしの仕組みは？誰も言っていない文が混じるのはなぜか

要点

対象：会議の文字起こしを使っている人

1. Whisperは録音を30秒ずつに区切って読む
2. 無音でも、誰も言っていない文が出ることがある
3. 数字と名前は録音と照らし合わせる

AIの文字起こしを読み返すと、誰も言っていない「ご視聴ありがとうございました」が最後に混じっていることがあります。

この記事の目次（6節）

1. 録音を30秒ずつに区切り、数字の並びに直す
2. 音を読み取り、次の文字を予測する
3. 以前の音声認識は、部品を組み合わせていた
4. 朗読と無音の録音で試した結果
5. よくある誤解
6. 仕事で使うときに気をつけること

OpenAIが公開している文字起こしのAI「Whisper」では、聞こえた音を写すのではなく、次に来そうな文字を予測して書いているからです。¹

この記事では、仕組みが論文で公開されているWhisperを例にします。¹² Teamsなどのサービスの中の仕組みは確かめていませんが、誤りを防ぐ方法は、最後の節にサービスを問わずまとめました。

録音を30秒ずつに区切り、数字の並びに直す

Whisperは、長い会議の録音も30秒ずつに区切って読みます。30秒分を書き起こしたら、書き終えた所から次の30秒を読みます。¹²

区切った音は、まず数字の並びに直します。100分の1秒ごとに、音の高さごとの強さを測ります。¹ 横に時間、縦に音の高さをとり、強さを色の濃さで塗った表のようなものです。

音を読み取り、次の文字を予測する

Whisperの中は、音を読み取る部分と、文字を書く部分に分かれています。書く部分は、読み取った音を手がかりに、次に来る文字や語のかけら（トークン）を1つずつ予測して足していきます。¹

文章を作る生成AIも、次に来そうな言葉を1つずつ選んで足しています（生成AIの仕組み）。

文と一緒に、その文が録音の何秒目から何秒目かを表す時刻（タイムスタンプ）を書くこともできます。時刻は0.02秒刻みです。¹

前の区切りの文章も手がかりにする

聞き分けにくい音を何と書くかは、話の流れで決められるようにしてあります。そのために、前の区切りで書き起こした文章も手がかりにします。¹

聞き取りにくい電話で、聞こえなかった所を話の流れで補ってメモするのと同じです。「機会」と「機械」のように読みが同じ語のどちらを書くかも、前の言葉に左右されます。

以前の音声認識は、部品を組み合わせていた

以前の音声認識は、役割の違う部品を組み合わせていました。情報通信研究機構（NICT）の2022年の解説は、1つのAIで音から文章まで出す方式を、最新の技術として紹介しています。³

2つの方式の間には、部品の一部を深層学習に置き換えたハイブリッド型もありました。³

Whisperは、新しい方式で作られています。1つのAIで、何語で話しているかを見分け、文字に起こし、声があるかどうかも見分けます。²

朗読と無音の録音で試した結果

このサイトで2026年10月21日に試しました。言語は日本語に指定しています。

Whisperを速く動くように作り直した「faster-whisper」（バージョン1.2.1）で、Whisperのsmallモデルを手元のパソコンで動かしました。⁷

録音は、LibriVoxで公開されている『ごん狐』（新美南吉）の朗読で、CC0（著作権を放棄する印）が付いています。⁸ 原文は青空文庫で読めるので、文字起こしと照らし合わせられます。⁹

無音なのに、文が出た

Whisperは、インターネット上の音声と、その書き起こしで学習しています。¹ 動画の終わりの決まり文句が出たのは、学習した音声に動画の音声が多かったからだと考えています。

faster-whisperには、無音を除く設定（VAD）があります。声の無い所を、Silero VADという小さなAIで見つけて取り除き、残りをWhisperに渡します。初期設定では、2秒より長い無音だけを除きます。⁷

語を前もって渡すと、直った語もあれば新しい誤りも出た

朗読の冒頭80秒を、何も渡さずに書き起こした場合と、語を前もって渡した場合で比べました。渡した1行は「ごん狐。茂平というおじいさん。しだの森。百姓家。とんがらし。」です。

渡した3語は、どれも原文どおりになりました。かわりに、渡していない「小狐」が「小椅子」に変わり、「はい出ました」は直りませんでした。

よくある誤解

「聞こえた音を、そのまま文字にしている」

そのまま写してはいません。声が無いときには、Whisperは「声が無い」ことを示す印を出すように学習しています。¹

それでも、録音と関係のない文を書いてしまう誤りや、同じ言葉を繰り返す誤りが起きると、論文に書かれています。¹

失語症の人などの話を、2023年時点のWhisperで文字起こしした研究があります。文字起こしのおよそ1%に、録音に無い語句や文がまるごと入っていました。声を出していない時間の長い人ほど、多く起きていました。⁴

「指示を書けば、そのとおりに書き起こしてくれる」

OpenAIのAPI（自分のプログラムからAIを呼び出す窓口）で使える「whisper-1」は、チャットのAIのようには指示に従いません。⁵

プロンプトには、名前や略語の正しい書き方を並べて、ヒントとして渡します。長さは224トークンまでです。whisper-1は2027年2月26日に提供が終わる予定で、OpenAIは新しく作るなら「gpt-transcribe」を勧めています。⁵

仕事で使うときに気をつけること

会議の文字起こしを議事録の材料にするなら、次の4つを確かめてください。

1. 文字起こしの言語を、会議で話す言語に合わせます。Teamsでは、会議の「話し言葉」の設定を変えると、すべての人の文字起こしの言語が変わります。⁶
2. 社名・人名・専門用語を登録できる機能があれば、登録します。登録していない語に、新しい誤りが出ることもあります。
3. 無音を除く設定があれば使います。休憩中も録音を止めない会議のように、長い無音のある録音で役立ちます。
4. 数字・名前・日付と、「ご視聴ありがとうございました」のような締めのあいさつは、録音と照らし合わせてから配ります。予測で書いた文字は、聞き間違えても自然な文に見えるからです。

ChatGPTに録音のファイルを渡して書き起こす手順は、ChatGPTの音声ファイルの記事にまとめました。録音がAIの学習に使われるかどうかを確かめる方法は、LINE WORKS AiNoteの記事にあります。

出典

1. Radford ほか「Robust Speech Recognition via Large-Scale Weak Supervision」（Whisperの論文、arXiv:2212.04356、2022年12月）（参照 2026-10-21）
2. openai/whisper（GitHub・MITライセンス）（参照 2026-10-21）
3. 藤本雅清「音声認識技術」（情報通信研究機構研究報告 Vol.68 No.2、2022年）（参照 2026-10-21）
4. Koenecke ほか「Careless Whisper: Speech-to-Text Hallucination Harms」（arXiv:2402.08021、2024年）（参照 2026-10-21）
5. OpenAI「Speech to text」（API のガイド）（参照 2026-10-21）
6. Microsoft サポート「Teams 会議でライブ トランスクリプトを表示する」（参照 2026-10-21）
7. SYSTRAN/faster-whisper（GitHub・MITライセンス）（参照 2026-10-21）
8. LibriVox「Gongitsune」（新美南吉『ごん狐』の朗読・CC0）（参照 2026-10-21）
9. 青空文庫「ごん狐」（新美南吉）（参照 2026-10-21）