医療AI導入が失敗する典型パターン5つ — 現場が使わなくなる理由

失敗とは「動かないこと」ではない

医療AI導入の失敗とは、契約が続いていて画面も開けるのに、現場が使っていない状態のことです。 システムが落ちる失敗は目に見えるので対処されます。厄介なのは、誰も文句を言わないまま利用回数だけが減っていく型のほうです。

医療現場で「導入されたが使われていない仕組み」が生まれる構図と、いま自分が運用している自律型のシステムで実際に起きている失敗は、同じ形をしています。壊れ方には型があるというのが、両側から見た実感です。

以下の5つは、そのうち医療機関で繰り返し現れる型を、兆候と先に打つ手つきで整理したものです。

パターン1 — 現場の困りごとから始まっていない

展示会や他院の事例で見た機能から入り、自院のどの手順に当てるかを後から探す型です。当て先の業務が決まる前にツールが決まっているので、導入後に「使えそうな場面」を現場が探すことになります。探す作業は業務時間の持ち出しなので、忙しい部署ほど早く探すのをやめます。

兆候は「導入後に質問が来ないこと」です。使われていれば必ず細かい質問が出ます。静かなのは順調なのではなく、触られていないだけです。

先に打つ手: 対象業務を、始まりと終わりのある手順まで割ってから選定に入ります。頻度・所要時間・担当職種の3つの数字が埋まらない業務は、まだ順番ではありません。手順の割り方は、当サイトの記事「クリニックがAIを導入するまでの7ステップ」のステップ1にまとめました。

パターン2 — 二重入力が残っている

最も再現性の高い失敗がこれです。AIが下書きを作っても、それを既存システムへ人が手で写す工程が残っていると、現場の総作業量は減りません。 減らないどころか、確認と転記のぶん増えることすらあります。

新しいシステムが導入された現場では、同じことが起きがちです。旧来の様式が完全には消えず、一部を紙に書いてから端末に入力する期間が続きます。過渡期として説明はつくが、現場の体感は「仕事が増えた」で固定されます。一度その印象がつくと、後から連携が改善されても評価は戻りにくくなります。

先に打つ手: 選定の段階で「出力をどこへどうやって渡すか」を確認します。API連携が難しい場合でも、コピー&ペースト1回で済むのか、項目を1つずつ転記するのかで結果はまったく違います。転記が3項目を超えるなら、その業務は当て先として不適と考えて構いません。

パターン3 — 誤りへの備えを設計していない

生成AIは、事実でない内容をもっともらしい文体で出力することがあります。この現象自体は既知で、Anthropic も「最も高度な言語モデルでも、事実として誤った文章や与えられた文脈と矛盾する文章を生成することがある」と明記したうえで、減らすための手法を公開しています。同社が挙げているのは、たとえば次のような手法です。

• 「わからない」と言うことを明示的に許可する（不確かなときは「十分な情報がないので確信を持って評価できない」と答えてよいと指示に書く）
• 直接引用で根拠づける（長い文書を扱うタスクでは、まず該当箇所を一字一句そのまま抜き出させてから、その引用だけを根拠に処理させる）
• 引用による検証（生成後に各主張の裏づけ引用を探させ、見つからない主張は撤回させる）
• 外部知識の使用を制限する（与えた資料の中の情報だけを使い、一般知識を混ぜないよう明示する）

同資料は、これらの手法でハルシネーションは大幅に減るが完全にはなくならないとも述べ、重要な情報は必ず検証するよう求めています。

医療機関で問題になるのは、この前提が現場に共有されないまま導入されることです。「AIが間違えた」という一度の出来事が、仕組み全体への不信に直結します。逆に、誤りうることを前提に確認の手順まで含めて設計されていれば、一度の誤りは想定内の出来事として処理されます。

先に打つ手: 出力をそのまま使う工程を作りません。根拠となる元文書を必ず添えて出させ、確認者を1人置きます。確認にかかる時間も含めて費用対効果を計算します。

パターン4 — 成功基準がないので、改善できない

導入後に「効果があったか」を議論し始めると、声の大きい人の印象で結論が決まってしまいます。良かったことにしても悪かったことにしても、次に何を直せばいいかが分からないので改善が止まります。

Anthropic は成功基準の要件として、具体的・測定可能・達成可能・目的に関連していることの4点を挙げ、「良いパフォーマンス」のような曖昧な表現ではなく数値または明確に定義された尺度で書くよう求めています。評価軸としてタスク忠実度・一貫性・トーンとスタイル・プライバシー保護・レイテンシー・コストが列挙されています。そして用途によって重視すべき軸が違うことも示されている（医療用途では引用や根拠の正確さが重要で、雑談用のチャットボットでは不要、という例が挙げられています）。

先に打つ手: 導入前に、数値と判定時期を決めて文書に残します。判定時期は3か月後など具体的な日付で置きます。

パターン5 — 止め方と責任者が決まっていない

不調のときに全員が様子を見る、という状態がこれです。止める権限が誰にあるか決まっていないと、判断が先送りされ、そのあいだ現場は独自の回避策を作ります。回避策が定着すると、仕組みは形だけ残ります。

このメディア自体、運用初日に同じ構造の失敗を起こしています。2つの自動化ルーティンが噛み合わず、片方は「相手の作業を待つ」、もう片方も「相手の作業を待つ」という状態で完全に停止したことがあります。厄介だったのは、両方とも正常終了していたことです。監視は緑のまま、コストだけが毎時かかり、進捗だけがゼロになります。エラーが出る故障より、この「正常終了する停止」のほうが発見は遅れます。

医療機関の運用でも同じことが起こります。「AIが返した内容に違和感があるが、業務は回っているので誰も報告しない」状態は、正常終了する停止と同じです。

先に打つ手: 3つを決めて掲示します。止める権限を持つ人（氏名と役職で1人）、止めたときの代替手順、そして「おかしいと思ったときの報告先」です。3つ目があるかどうかで、発見までの時間が変わります。

5つに共通していること

並べると、失敗はAIの性能ではなく業務設計と運用の決めごとの側で起きています。性能が足りない失敗は分かりやすく、比較検討の段階で防げます。防げないのは、決めていなかったことのほうです。

導入を検討する段階でこの5つを点検しておくと、選定の質問も変わってきます。「精度は何%ですか」より、「出力をどこへ渡しますか」「間違えたときに何が残りますか」のほうが、実際の定着を左右します。

FAQ

失敗の型は業務の形によって出方が変わります。自院で導入済みの仕組みが定着していない理由の切り分けや、これから選定する際の観点整理について、ご相談を承っています。