医療AI導入が失敗する典型パターン5つ — 現場が使わなくなる理由

失敗とは「動かないこと」ではない

医療AI導入の失敗とは、契約が続いていて画面も開けるのに、現場が使っていない状態のことである。 システムが落ちる失敗は目に見えるので対処される。厄介なのは、誰も文句を言わないまま利用回数だけが減っていく型のほうだ。

筆者は前職が看護師で、現在はAIシステムの設計と実装をしている。医療現場で「導入されたが使われていない仕組み」が生まれる構図と、いま自分が運用している自律型のシステムで実際に起きている失敗は、同じ形をしている。壊れ方には型があるというのが、両側から見た実感である。

以下の5つは、そのうち医療機関で繰り返し現れる型を、兆候と先に打つ手つきで整理したものである。

パターン1 — 現場の困りごとから始まっていない

展示会や他院の事例で見た機能から入り、自院のどの手順に当てるかを後から探す型である。当て先の業務が決まる前にツールが決まっているので、導入後に「使えそうな場面」を現場が探すことになる。探す作業は業務時間の持ち出しなので、忙しい部署ほど早く探すのをやめる。

兆候は「導入後に質問が来ないこと」である。使われていれば必ず細かい質問が出る。静かなのは順調なのではなく、触られていない。

先に打つ手: 対象業務を、始まりと終わりのある手順まで割ってから選定に入る。頻度・所要時間・担当職種の3つの数字が埋まらない業務は、まだ順番ではない。手順の割り方は、当サイトの記事「クリニックがAIを導入するまでの7ステップ」のステップ1にまとめた。

パターン2 — 二重入力が残っている

最も再現性の高い失敗がこれである。AIが下書きを作っても、それを既存システムへ人が手で写す工程が残っていると、現場の総作業量は減らない。 減らないどころか、確認と転記のぶん増えることすらある。

新しいシステムが導入された現場では、同じことが起きやすい。旧来の様式が完全には消えず、一部を紙に書いてから端末に入力する期間が続く。過渡期として説明はつくが、現場の体感は「仕事が増えた」で固定される。一度その印象がつくと、後から連携が改善されても評価は戻りにくい。

先に打つ手: 選定の段階で「出力をどこへどうやって渡すか」を確認する。API連携が難しい場合でも、コピー&ペースト1回で済むのか、項目を1つずつ転記するのかで結果はまったく違う。転記が3項目を超えるなら、その業務は当て先として不適と考えてよい。

パターン3 — 誤りへの備えを設計していない

生成AIは、事実でない内容をもっともらしい文体で出力することがある。この現象自体は既知で、Anthropic も「最も高度な言語モデルでも、事実として誤った文章や与えられた文脈と矛盾する文章を生成することがある」と明記したうえで、減らすための手法を公開している。同社が挙げているのは、たとえば次のような手法である。

• 「わからない」と言うことを明示的に許可する（不確かなときは「十分な情報がないので確信を持って評価できない」と答えてよいと指示に書く）
• 直接引用で根拠づける（長い文書を扱うタスクでは、まず該当箇所を一字一句そのまま抜き出させてから、その引用だけを根拠に処理させる）
• 引用による検証（生成後に各主張の裏づけ引用を探させ、見つからない主張は撤回させる）
• 外部知識の使用を制限する（与えた資料の中の情報だけを使い、一般知識を混ぜないよう明示する）

同資料は、これらの手法でハルシネーションは大幅に減るが完全にはなくならないとも述べ、重要な情報は必ず検証するよう求めている。

医療機関で問題になるのは、この前提が現場に共有されないまま導入されることだ。「AIが間違えた」という一度の出来事が、仕組み全体への不信に直結する。逆に、誤りうることを前提に確認の手順まで含めて設計されていれば、一度の誤りは想定内の出来事として処理される。

先に打つ手: 出力をそのまま使う工程を作らない。根拠となる元文書を必ず添えて出させ、確認者を1人置く。確認にかかる時間も含めて費用対効果を計算する。

パターン4 — 成功基準がないので、改善できない

導入後に「効果があったか」を議論し始めると、声の大きい人の印象で結論が決まる。良かったことにしても悪かったことにしても、次に何を直せばいいかが分からないので改善が止まる。

Anthropic は成功基準の要件として、具体的・測定可能・達成可能・目的に関連していることの4点を挙げ、「良いパフォーマンス」のような曖昧な表現ではなく数値または明確に定義された尺度で書くよう求めている。評価軸としてタスク忠実度・一貫性・トーンとスタイル・プライバシー保護・レイテンシー・コストが列挙されており、用途によって重視すべき軸が違うことも示されている（医療用途では引用や根拠の正確さが重要で、雑談用のチャットボットでは不要、という例が挙げられている）。

先に打つ手: 導入前に、数値と判定時期を決めて文書に残す。判定時期は3か月後など具体的な日付で置く。

パターン5 — 止め方と責任者が決まっていない

不調のときに全員が様子を見る、という状態がこれである。止める権限が誰にあるか決まっていないと、判断が先送りされ、そのあいだ現場は独自の回避策を作る。回避策が定着すると、仕組みは形だけ残る。

このメディア自体、運用初日に同じ構造の失敗を起こしている。2つの自動化ルーティンが噛み合わず、片方は「相手の作業を待つ」、もう片方も「相手の作業を待つ」という状態で完全に停止したことがあった。厄介だったのは、両方とも正常終了していたことである。監視は緑のまま、コストだけが毎時かかり、進捗だけがゼロになる。エラーが出る故障より、この「正常終了する停止」のほうが発見が遅れる。

医療機関の運用でも同じことが起きる。「AIが返した内容に違和感があるが、業務は回っているので誰も報告しない」状態は、正常終了する停止と同じである。

先に打つ手: 3つを決めて掲示する。止める権限を持つ人（氏名と役職で1人）、止めたときの代替手順、そして「おかしいと思ったときの報告先」である。3つ目があるかどうかで、発見までの時間が変わる。

5つに共通していること

並べると、失敗はAIの性能ではなく業務設計と運用の決めごとの側で起きている。性能が足りない失敗は分かりやすく、比較検討の段階で防げる。防げないのは、決めていなかったことのほうだ。

導入を検討する段階でこの5つを点検しておくと、選定の質問も変わってくる。「精度は何%ですか」より、「出力をどこへ渡しますか」「間違えたときに何が残りますか」のほうが、実際の定着を左右する。

FAQ

Q. 一番多い失敗パターンはどれですか。 二重入力（パターン2）です。総作業量が減らないため、効果が出ないまま利用が細ります。

Q. 精度が高ければ失敗は防げますか。 防げません。5つのうち精度に関係するのはパターン3だけで、それも確認手順の有無が本体です。

Q. 現場が使わなくなったことは、どう検知できますか。 利用回数の推移を月次で見ます。効果の数字が良くても、回数が下がっていれば定着していません。

Q. 導入済みのツールが使われていません。やり直せますか。 対象業務の選び直しから可能です。同じツールでも当て先を変えると定着する例はあります。

Q. 小規模なクリニックでも5つ全部を決める必要がありますか。 必要です。規模が小さいほど担当者が兼務になるので、止め方と報告先の明文化はむしろ重要になります。

失敗の型は業務の形によって出方が変わります。自院で導入済みの仕組みが定着していない理由の切り分けや、これから選定する際の観点整理について、ご相談を承っています。