小さく始めて効果を測る：試行から本番運用、改善の回し方｜AIエージェントと業務自動化 第8回

試行の計画を立てる：始める前に決める6つのこと

試行を始める前に、図2の6つを計画シートに書き出しておきます。

1. 目的：何を良くするための試行か。第3回で選んだ業務と、その業務の課題を書きます。
2. 範囲：試す範囲を絞ります。「すべての問い合わせ」ではなく「製品と料金の問い合わせのみ」のように、AIが得意そうで、間違えても影響の小さい範囲から始めます。
3. 期間：一般的には数週間から2か月程度で区切ります。短すぎると十分なデータが集まらず、長すぎると判断が先延ばしになります。
4. 成功基準：何がどうなれば「本番に進む」と判断するかを、数字で決めます。試したあとで基準を決めると、都合のよい解釈になりがちです。
5. 比べる相手：導入前の数字です。第3回で記録した作業時間などがこれにあたります。比べる相手がないと、効果を示せません。
6. 体制：試行に参加する担当者、AIの判断を確認する人、問題が起きたときの連絡先と非常停止の担当者を決めます（第6回）。

効果を測る4つの指標

試行で何を測ればよいのでしょうか。AIエージェントの効果は、図3の4つの指標で見ると、偏りなく評価できます。

• 時間：人の作業時間がどれだけ減ったか。ここで見落としやすいのが、AIの結果を確認する時間です。AIが回答案を作っても、担当者が確認と修正に同じだけ時間をかけていれば、効果はありません。
• 品質：AIの判断がどれくらい正しかったか（人の判断との一致率）、差し戻しの割合、重大な誤りの件数。
• 速さ：顧客への返信までの時間、処理が終わるまでの時間など。時間の削減とは別に、業務の速さそのものが改善することがあります。
• 費用：AIサービスとワークフローツールの利用料、仕組みを作り保守する費用、人の確認にかかる時間。

情報処理推進機構（IPA）が2026年7月に公表した国内企業約1,800社の調査結果では、AIを導入した企業で「業務の効率化・スピードアップ」の効果を挙げた割合は91.6%と高い一方、「顧客満足度の向上」は4.5%、「売上・利益の増加」は3.9%にとどまっています。効率化の効果は出やすい一方、事業の成果につなげるにはもう一段の工夫が必要だということが分かります。時間の削減だけでなく、浮いた時間を何に使い、それが何につながったかまで追いかけると、AIエージェントの価値をより正しく評価できます。

計算例：効果は「確認の時間」を差し引いて考える

図4は、問い合わせ対応での試行の結果を計算した例です。

導入前は月33時間かかっていた作業が、導入後は「AIの結果の確認と修正」に月9時間、「人に回った問い合わせの対応」に月3時間かかり、合計12時間になりました。差し引きの削減は月21時間です。AIが作業した時間をそのまま削減とせず、人の確認と例外対応の時間を差し引くことがポイントです。

これに、AIとツールの利用料、仕組みの保守にかかる時間を比べて、費用に見合うかを判断します。

改善を確かめる「評価用データ」を用意する

試行中も本番運用中も、AIへの指示やマニュアルは何度も改善していきます。そのとき、改善したつもりが別の部分を悪くしていないかを確かめる仕組みが必要です。そこで役立つのが「評価用データ」です。

評価用データの作り方は次のとおりです。

1. 過去の実際の問い合わせから、50〜100件ほどを選びます。よくある種類だけでなく、判断が難しかった例や、例外として人に回すべき例も入れます。
2. それぞれに「正しい答え」（正しい分類、人に回すべきかどうかなど）を、ベテランの担当者がつけます。
3. AIへの指示を変えるたびに、この評価用データで一致率を測ります。

評価用データがあれば、「指示を変えたら、料金の問い合わせの正解率は上がったが、不具合の問い合わせを人に回さなくなった」といった変化を、本番に出す前に見つけられます。個人情報を含む場合は、氏名や連絡先を伏せた形で保管しましょう。

本番運用に移す判断と、改善のサイクル

試行が終わったら、計画で決めた成功基準と比べて、本番に進むかを判断します。成功基準のほかに、次の点も確認します。

• 試行の期間中に、重大な誤り（顧客への誤った案内、情報の取り違えなど）が起きていないか。起きた場合、原因と対策ははっきりしているか
• 第6回のチェックリスト（承認・監査ログ・非常停止）と、第7回のセキュリティ確認シートを満たしているか
• 本番運用の担当者と、その人の不在時の代わりが決まっているか
• 現場の担当者が「使い続けたい」と感じているか

本番に移したあとも、AIエージェントは「作って終わり」ではありません。図5のような改善のサイクルを、月に1回程度回します。

1. 記録を見る：監査ログから、差し戻し・例外・誤りのケースを抜き出します。人に回さなかったケースからも、いくつかを抜き出して確認します。
2. 理由を集計する：差し戻しの理由（第6回）を集計し、多い理由から手を打ちます。
3. 直す：AIへの指示、マニュアル、しきい値などを修正します。
4. 確かめる：評価用データで、改善と悪化の両方を確認します。
5. 反映する：指示の版を更新して本番に反映し、変更内容を記録します。

あわせて、AIのモデルやツールの更新にも注意します。AIサービスの提供者がモデルを新しくすると、同じ指示でも動きが変わることがあります。更新の情報を確認し、更新のあとは評価用データで動きを確かめましょう。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

横展開：同じ「型」の業務に広げる

1つめの業務が軌道に乗ったら、他の業務に広げます。このとき、同じ型の業務から広げるのが効率的です。第4回で学んだ5つの型のうち、たとえば「振り分ける型」で問い合わせ対応を作ったなら、社内の申請の振り分け、受注メールの振り分けなど、同じ型の業務に応用できます。

横展開のときに再利用できるものは、次のとおりです。

• 道具：顧客検索、記録、通知など、すでに作った道具（ワークフローやMCPの接続）
• 指示のひな形：判断の基準の書き方、禁止事項、答えの形の指定
• 運用の型：承認の基準、監査ログの項目、改善サイクルの進め方
• 評価の方法：評価用データの作り方、指標の測り方

また、うまくいった事例を社内で共有すると、「自分の業務でも使えないか」という相談が現場から出てくるようになります。第3回の候補洗い出し会議を、部署ごとに開いてみるのもよいでしょう。全社への広げ方はビジネスで使う生成AI入門 第8回もあわせて参考にしてください。

実務ではこう使う：最初の90日の進め方

この講座の内容を、最初の90日の計画にまとめると次のようになります。

外部の支援を受けながら進めたい場合は、AI導入支援・AIコンサルおすすめ比較で、試行から定着まで伴走する会社を比べられます。社内で仕組みを作れる人を育てたい場合は、AI研修おすすめ比較も参考になります。

この回のまとめ

• 試行の目的は、本番に進むかを判断する材料を集めること。目的・範囲・期間・成功基準・比べる相手・体制を始める前に決める
• 効果は時間・品質・速さ・費用の4つで測る。時間は、人の確認と例外対応の時間を差し引いて計算する
• 正しい答えをつけた評価用データで、指示を変えるたびに改善と悪化を確かめる
• 本番後も、記録→集計→修正→確認→反映の改善サイクルを月1回程度回す。モデルの更新にも注意
• 横展開は同じ型の業務から。道具・指示のひな形・運用の型・評価の方法を再利用する

確認テスト

講座を終えたあなたへ

全8回、おつかれさまでした。この講座では、AIエージェントのしくみ（第1・2回）から、業務の選び方と設計（第3〜5回）、安全に動かすための承認・記録・セキュリティ（第6・7回）、そして効果の測り方と広げ方（第8回）までを学びました。

AIエージェントの技術は、これからも速いスピードで進歩していきます。新しいツールやモデルが次々に登場しても、業務を分解して部分ごとに方式を選ぶこと、人の確認と記録を設計すること、権限を絞ること、小さく試して数字で判断することという考え方は、変わらずに役立つはずです。まずは、あなたの職場で「月に何十時間もかかっている、ルールを言葉にできる作業」を1つ見つけるところから始めてみてください。

ノーコードのツールで業務改善を広く進めたい方は、続けてノーコードで進める業務改善の講座もどうぞ。

参考資料

• 独立行政法人情報処理推進機構（IPA）プレスリリース「広がるAI導入、DXは変われるか」（2026年7月16日） https://www.ipa.go.jp/pressrelease/2026/rcu1hd0000016yh4-att/press20260716.pdf （確認日：2026年11月12日）
• Anthropic「Building effective agents」（2024年12月19日） https://www.anthropic.com/research/building-effective-agents （確認日：2026年11月12日）