RescaleがAIエージェントでテストの失敗を振り分け、リリース待ちは20%減

悠 Yu NiiboriAIエンジニアプロフィール

要点

対象：繰り返しの振り分けをAIに任せたい担当者

RescaleのAIエージェント（頼まれた作業を自分で進めるAI）は、毎晩の自動テストで出た失敗を、エンジニアより先に調べて振り分けています。使い始めてから、失敗の原因を調べるために本番リリースを止めておく時間が、20%減りました。¹

この記事の目次（5節）

Rescaleは、製品開発のためのシミュレーションと計算の基盤をクラウドで提供している米国の会社です。2026年10月22日のAWSのブログに、AWSとRescaleの担当者が一緒に書いた記事が載りました。¹³

AIが失敗の原因を4つに分けて、報告書まで書く

Rescaleでは、数百件のテストを毎晩流しています。このテストに通らないと、週1回の本番リリースができません。¹

これまでは、当番のエンジニアが失敗ごとにログを開いて原因を見分け、担当のチームに回していました。テストの失敗が解決しないままだと、リリースの前に複数のチームが何時間も調整に追われることもありました。¹

いまは失敗が出ると、テストから本番リリースまでを自動で進める仕組み（CI/CD）が、AIエージェントを動かします。原因の判定には、「Amazon Bedrock」経由でAnthropicの「Claude Opus 4.8」を使っています。¹

誰が	すること
AIエージェント	失敗の原因を、インフラの問題・コードの不具合・不安定なテスト（同じコードでも通ったり落ちたりするテスト）・環境の問題の4つに分ける
AIエージェント	過去の似た失敗を参考にし、ログから判定の裏付けを集める
AIエージェント	関係するファイルと関数の名前、直し方の案を報告書にまとめる
エンジニア	手を動かす前に、報告書を確かめる

毎晩のテストで失敗が出ると、パイプラインがAIエージェントを動かし、AIが原因を分けて報告書を書きます。

一連の作業は数秒で終わり、結果はチームがふだん見ている報告の場所にそのまま届きます。¹

数字は次の2つです。¹

何の数字か	数字
AIの振り分けが人と同じだった割合	使い始めの44%から、いまは68%
失敗の原因を調べるために、本番リリースを止めておく時間	20%減った

テストは週1回の本番リリースの関門です。止めておく時間が減れば、そのぶん変更が早く本番に出ます。当番のエンジニアが、同じような振り分けに取られる時間も減りました。¹

開発にあたっては、AWSとRescaleのエンジニアが、対面で5日間のワークショップを開きました。開発の手法には、AWSが提唱する「AI-DLC」を使っています。AIが計画やコードを出し、大事なことは人が決める手法です。¹²

最初の2日で、AIから出た20以上の質問にチームで答え、作る範囲を決めました。変更の提案（プルリクエスト）をAIに自動で作らせる機能は、人の判断で後回しにしました。¹

4日目にはステージング環境（本番の前に試す環境）で一通り動き、その後数週間のうちに本番でも使い始めました。¹

AIに任せたのは最初の振り分けだけで、報告書はエンジニアが必ず確かめます。AIと人の振り分けが合う割合が68%のうちから成果が出たのは、この役割の分担が効いたからだと考えています。

ただし、AIに任せる仕事を増やすと、今度は人の確認が追いつかなくなります。Anthropicのレポートも、AIの出力が増えると人の確認が詰まると指摘しています（Anthropic社内の記事）。

権限や記録の仕組みをどう作るかは、自律AIエージェントの設計の記事にまとめています。AIの下書きを人がどこまで確かめるかは、確認の範囲の記事にあります。

まず、人がすでに振り分けた過去の50件をAIにも振り分けさせ、人と同じになった割合を出してみてください。