マルチエージェントClaude Codeのplugin evalとは？自作プラグインを点数で確認
この記事の要点
- claude plugin eval は、プラグインを付けた場合と外した場合で同じ依頼を解かせ、点数の差で効き目を見るコマンド
- claude plugin eval init を使うと、AIが質問しながらテストの例と採点の決まりを作ってくれる
- 1回ごとに実際にAIを動かすので、利用枠やAPIの料金がかかる。結果表に費用の見積もりも出る
社内向けにスキルやプラグインを作ったあと、意外と分からないのが 「本当にこれのおかげで良くなっているのか」 です。AIは何も付けなくてもそこそこ上手に作業するので、手応えだけで判断すると、効いていない道具を抱え続けることになります。
Claude Code の claude plugin eval は、この効き目を点数で確かめるためのコマンドです。この記事では、公式ドキュメント「Test plugins with evals」（2026年10月31日確認）にもとづいて、仕組みと使い方を紹介します。プラグインそのものの説明は Claude Codeのプラグインとは？ を参照してください。
結論：「付けた場合」と「外した場合」の点数の差を見る
claude plugin eval は、用意したテストの例（ケース）ごとに、プラグインを付けた状態と付けない状態の両方で同じ依頼をAIに解かせ、点数を比べます。
WITH：プラグインを付けたときの点数W/OUT：付けなかったときの点数Δ（差）：プラグインがどれだけ点数を上げたか
点数が高くても、付けなくても同じ点数なら、そのプラグインは役に立っていないということです。差を見るのがこの機能の肝 です。
1回の実行で起きていること
- ケースごとに、ほかから切り離された新しい会話を立ち上げる
- プラグインだけを読み込んだ状態で依頼文を送り、AIに最後まで作業させる
- 採点の決まり（グレーダー）で、できあがりを合格・不合格で判定する
- 同じことを、プラグインなしでも行う
AIの結果は毎回少しずつ違うため、1つのケースは既定で3回ずつ 実行されます。プラグインありとなしで、1ケースにつき6回の実行です。
始め方（3ステップ）
必要なのは、Claude Code の 2.1.269 以降と、設定ファイル（plugin.json）のあるプラグインのフォルダです。
1. テストの例を作ってもらう
プラグインのフォルダで次を実行します。
claude plugin eval init会話が開き、AIがプラグインを読んだうえで「どうなったら良い結果か」を質問してきます。答えると、呼ばれるべき依頼・呼ばれるべきでない依頼の例と、その採点の決まりを提案 し、1回試してからファイルに書き出してくれます。終わったら /exit で会話を閉じます。
2. 全部のケースを実行する
claude plugin eval .3. 結果の表を読む
終わると、次のような表が出ます（公式ドキュメントの例を簡略化）。
| CASE | WITH | W/OUT | Δ | RUNS | COST |
|---|---|---|---|---|---|
| first-case | 1.00 | 0.33 | +0.67 | 6 | $0.41 |
この例なら、プラグインがあると満点、なしだと3回に1回しか合格しない、つまり しっかり効いている と読めます。各回の採点の理由は、結果のフォルダに作られる HTML のレポートで確かめられます。
よくある最初のつまずき
公式ドキュメントによると、最初によく出るのは 「差がほぼゼロで、スキルが使われたかを見る採点が不合格」 という結果です。これは、普通の言い回しで頼まれたときに、AIがそのスキルを選んでいないという意味です。
直し方は、スキルの 説明文（description） を、利用者が実際に使う言葉に近づけることです。直したら、そのケースだけを1回走らせて素早く確かめます。
claude plugin eval . --case <ケース名> --runs 1 --ablation noneただし1回だけの結果はぶれやすいので、最後は既定の3回で確かめ直します。スキルの説明文の書き方は Claude Codeのスキルとは？ で解説しています。
費用の考え方
実行のたびに、実際にAIを動かします。採点にAIを使う決まりがあれば、その分の呼び出しも増えます。おおよその量は「ケース数 × 回数」の2倍（ありとなし）に、採点の分を足したものです。
- 結果の表に、定価ベースの費用の見積もりが出る
- 最初は2〜3ケースから始めて、量を確かめてから増やす
- 自動の検査に組み込むときは、費用の上限を決めて実行する
費用の見方全般は Claude Codeの費用を抑える方法 を参照してください。
チームでの使いどころ
- プラグインを直す前と後で点数を比べる：直したつもりで悪くなっていないかを確かめる
- 新しいモデルが出たときに走らせる：モデルが賢くなって、プラグインが不要になっていないかを見る
- 自動の検査に入れる：
--threshold（合格の基準）を下回ったら止める形で、チームの変更を守る
まとめ
claude plugin evalは プラグインあり・なしの点数の差 で効き目を確かめるclaude plugin eval initで、テストの例と採点の決まりをAIに作ってもらえる- 実行のたびに費用がかかるので、少ないケースから 始める
出典
この記事はAIを使って下書きし、著者が事実確認・加筆しています。ツールの機能や料金は変わることがあるため、最新の情報は各社の公式ページでご確認ください。
