Microsoftの研究者がC laude Codeの生産性を分析、P Rは1 1.4%増
悠 Yu Niibori AIエンジニア プロフィール
出典 3件
要点
対象:開発チームにA Iツールを入れる人
PRの増え方はC opilot CLIの半分ほど 週に5 日以上使った週はP Rが5 0%多い その後、C laude Codeの大半の打ち切りを告知 Microsoftの社内で、C laude Codeを使った週にマージされたプルリクエスト(PR)は、使わなかった週より1 1.4%多 くなりました。C opilot CLIを使った週は2 4.9%で、C laude Codeの増え方はその半分ほどです。1
この記事の目次(6節) ツールごとの増え方 使った日数ごとの増え方 Copilot CLIのほうが増えた理由は分かっていない 同僚が使っていると、試す人が出やすかった PRの数は、価値の大きさではない 自社で試すなら
社内のエンジニア数万人の利用記録を、M icrosoftの研究者3人が分析しました。論文は7 月1日に公開され、1 0月16日にI Tmediaが日本語で紹介しています。1 2
導入の最初の週にどちらかのツールを使い始めた人は、使っていなかった場合の見積もりと比べて、P Rが約24%多 くなりました。この増え方は、分析した4 か月のあいだ続きました。1
Claude CodeとC opilot CLIは、どちらもターミナルで指示を出すと、A Iがコードを書き、コマンドを実行するツールです。1 Claude Codeの動き方は、Claude Codeの仕組み で図で説明しています。
ツールごとの増え方
数字は、同じ人について、ツールを使った週と使わなかった週を比べたものです。片方のツールだけを使った人で比べています。1
使ったツール 使わなかった週と比べたP Rの数 Claude Code 11.4%多い Copilot CLI 24.9%多い
分析では、1 月5日から4月2 9日 までの記録を使っています。対象は、導入前からP Rを出していたエンジニアです。1
使った日数ごとの増え方
1週間に使った日が多いほど、P Rは多くなっていました。この表は、両方のツールを使った人も含めた数字です。1
1週間に使った日数 使わなかった週と比べたP Rの数 1日 3%多い 3日 15%多い 5日以上 50%多い
ただし、使ったから増えたとまでは言えません。軽い作業が多い週ほどツールを使いやすく、P Rも出しやすかった、という見方も残るからです。1
Copilot CLIのほうが増えた理由は分かっていない
研究者は、理由の候補を2 つ挙げています。2 つのツールを別の作業に使い分けていたのかもしれません。また、G itHubはM icrosoftの傘下なので、C opilot CLIを社内の開発のやり方に合わせやすかったのかもしれません。1
2026年の初めに世間で公開されたツールの比較では、A Iに任せきりで作業させるならC laude Codeが上という評価が多くありました。マージされたP Rの数では、その評価と逆になりました。1
同僚が使っていると、試す人が出やすかった
初めて試すかどうかは、C opilot CLIだけで調べています。C laude Codeは、ライセンスを一部の部門と個人にしか配っていなかったためです。1
周りの人が直近2週間に使っていると、初めて試す人が出やすくなっていました。結びつきが強かった順に並べると、次のとおりです。1
上司の上司が同じ同僚の、4 分の1 以上が使っていた(直属の上司が違っても、その上の上司が同じ人)
直属の上司が使っていた
よくレビューをし合う相手の、4 分の1 以上が使っていた
ただし、同僚の影響で使い始めたのか、似た人どうしが近くに集まっているだけなのかは、区別できません。1
使い続けるかどうかには、別のことが関わっていました。導入前にP Rを多く出していた人ほど使い続け、導入前からI DE( VS Codeなど)でC opilotを使っていた人は、続けにくい傾向がありました。1
PRの数は、価値の大きさではない
PRの数が増えても、そのぶん仕事の価値が生まれたとは限りません。研究者自身も、マージされたP Rと、それが生む価値は同じではないと書いています。1 受託開発のどの工程で工数が減るかは、SIerのA I活用 で取り上げています。
コードが複雑になるなど、品質が下がった分は数えられていない可能性があります。1
研究者は3 人ともM icrosoftの社員です。M icrosoftがA Iツールを売り、G itHubを傘下に持つことが、問いの立て方や結果の解釈に影響したかもしれないと、論文の中で認めています。1
この結果がほかの会社にも当てはまるのは、M icrosoftと環境が似ている場合に限られます。1
分析した期間が終わった少しあと、M icrosoftは社内に、大半のエンジニアのC laude Codeのライセンスをおよそ1か月で打ち切ると告知しました。対象のエンジニアには、C opilot CLIへ移るよう伝えています。1
打ち切りの理由は、論文には書かれていません。
自社で試すなら
GitHub Copilot CLIは、G itHub Copilotを契約していれば使えます。C opilot Business・E nterpriseプ ランでは、管理者が「ポリシー」の画面で有効にするまで、組織のメンバーは使えません。3
Microsoftの結果を参考に自社で試すなら、次の順がよいと考えます。
管理者が、試す数人のアカウントでツールを使えるようにします。
試す人は、同じチームの人の前で使って見せます。
導入の担当者は、試す人ごとに1 週間に何日使ったかを記録し、マージされたP Rの数と、レビューで変更を求められた件数も見ます。
大きな組織では、A Iの利用料が年に数百万ドルになることもあります。1 利用料が予算を超える会社の話は、トークン予算の超過は3 社に1 社 で取り上げています。
PRの数が増えたら、レビューが追いついているかも、同じ週の数字で確かめてください。
次に読む