「AIチャットボットを入れたが、だんだん使われなくなってきた」「規程が変わったのに、古い答えを返している」「誰が何を見ればよいのか決まっていない」。AIチャットボットは、入れたあとの運用で使われ方が大きく変わります。
この記事では、専任の担当者を置けない中小企業でも回せるように、運用でやること・体制・見るべき指標・直し方を、毎週・毎月の作業に分けてまとめました。これから導入する方は、AIチャットボット導入の手順と費用の目安もあわせてご覧ください。
- やること:会話の記録(ログ)を読み、答えられなかった質問や「役に立たなかった」と評価された答えを見つけて、元の文書・FAQを直します。
- 体制と頻度:少人数なら、運用担当1人(兼務)と、内容を確かめる各部署の詳しい人で回せる形にします。基本は毎週のログの確認と、毎月の見直しです。
- この記事が役に立つ方:これから入れる方、入れたものの使われ方が分からない方、答えが古くなってきた方。ほかの会社で入れたチャットボットでも考え方は同じです。
運用でやることの一覧(毎週・毎月・3か月ごと)
AIチャットボットの運用でやることを、頻度ごとにまとめました。最初からすべてを完璧にこなす必要はありません。まずは「毎週」の行から始めてください。
| 頻度 | やること | 担当 | 見るところ |
|---|---|---|---|
| 毎日 (社外向けのとき) | 人への引き継ぎが止まっていないかを確かめる | 窓口の担当 | 引き継ぎ待ちの件数 |
| 毎週 | 答えられなかった質問と「役に立たなかった」と評価された答えを読み、回答・文書を直す | 運用担当 | 会話の記録(ログ) |
| 毎月 | 指標を振り返る/元の文書が古くなっていないかを確かめる/使われていない部署に声をかける | 運用担当・責任者 | 指標の推移、文書の更新日 |
| 3か月ごと | 対象範囲を広げるか、答えない質問の線引き、見られる人の権限、費用に見合っているかを見直す | 責任者・システムの管理者 | 電話・メールの問い合わせ件数の変化 |
| その都度 | 規程・料金・製品・作業手順が変わったら、元の文書を差し替える | 変更した部署 | — |
この4つの作業をくり返すほど、チャットボットが答えられる範囲が広がり、「聞けば分かる」と思ってもらいやすくなります。反対に、ここが止まると、答えられない質問が残ったままになり、使う人が少しずつ離れていきます。
運用している・していないで、何が変わるか
運用が止まったときによく起きることと、運用で防げることを、よくある場面ごとに比べます。
社内の規程・手続きの質問(総務・人事)
経費精算の決まりが変わったのに、チャットボットは古い規程のまま答えています。社員が古い手順で申請し、総務が差し戻す手間が増えてしまいます。
運用していると「規程を変えた部署が、その日のうちに元の文書を差し替える」と決めてあります。チャットボットの答えも、変わった日から新しい手順になります。
現場の作業手順・様式の質問
機械の操作手順や書類の様式を聞かれても「該当する情報が見つかりません」と返すだけです。現場の人は、結局ベテランに電話で聞いています。
運用していると答えられなかった質問を毎週拾い、現場の詳しい人に答えを確かめてもらってから文書に足します。同じ質問には、次からチャットボットが答えやすくなります。
お客様からの問い合わせ(社外の窓口)
営業時間外の質問が「担当者にお問い合わせください」で終わり、その後の連絡がないままになることがあります。
運用していると人に引き継ぐ先と、返事をする目安を決めてあります。よく来る質問から順に答えを足していくので、引き継ぐ件数が落ち着いていくことも期待できます。
担当者の異動・休み
導入を進めた担当者が異動して、誰もログを見なくなりました。いつから答えが古いのか、誰にも分かりません。
運用していると担当者と代わりの人を決め、毎週の作業を手順書にしてあります。担当が替わっても、同じやり方で続けられます。
社内の問い合わせをチャットボットに任せる進め方は、社内FAQをAIで効率化する方法でも紹介しています。
社内向け・社外向けで、運用の重点はどう違うか
同じAIチャットボットでも、社員が使うか、お客様が使うかで、運用で一番大事にすることが変わります。
| 社内向け(社内FAQ・社内文書) | 社外向け(お客様の問い合わせ窓口) | |
|---|---|---|
| 一番大事にすること | 元の文書を新しく保つ | 間違えないこと、人にすぐつなぐこと |
| よく来る質問 | 規程・手続き・社内システムの使い方・作業手順 | 料金・納期・在庫・使い方・故障 |
| 答えない範囲の例 | 人事評価、個人の給与など | 見積の金額、契約の判断、苦情への対応など |
| 見られる文書の範囲 | 部署ごとに見せる文書を分ける | 社内向けの文書を混ぜない |
また、チャットボットの仕組みによっても、直すものが違います。
| ルール型(質問と答えを登録する) | 生成AI型(社内の文書を読んで答える) | |
|---|---|---|
| 直すもの | 質問と答えの組を1件ずつ | 元の文書(規程・マニュアル)とFAQ |
| 苦手なこと | 登録した言い回しと違う聞き方 | 古い文書・重なった文書があると、古い答えや混ざった答えを返す |
| 運用のコツ | 言い換えの表現を足していく | 文書の更新を決まりにし、答えの出典(どの文書から答えたか)を表示する |
社内の文書を読んで答える仕組みは「RAG」と呼ばれます。仕組みはRAG(社内RAG)とは?で説明しています。
見るべき指標(KPI)の意味と見方
運用の指標はたくさんありますが、少人数なら次の7つで足ります。どれも、チャットボットの管理画面や会話の記録から確かめられることが多い数字です(見られる項目は製品によって異なります)。
| 指標 | 意味 | 見方 |
|---|---|---|
| 利用数 (利用者数・質問数) | どれだけ使われているか | 減ってきたら、案内のしかたや入口の場所を見直す |
| 回答率 | 「分かりません」ではなく、答えを返せた割合 | 答えられなかった質問が、そのまま直す候補になる |
| 自己解決率 | 人に回さずに解決した割合(「封じ込め率」と呼ばれることもある) | 社外向けで特に見る。会話の最後の評価や、その後の問い合わせの有無で確かめる |
| 人への引き継ぎ率 | 担当者に回した割合 | 下げすぎない。お金・契約・安全に関わる質問は、人に回すのが正解 |
| 「役に立たなかった」・途中でやめた割合 | 答えに満足していないサイン | 会話の中身を読み、文書が足りないのか、言い回しの問題なのかを分ける |
| 満足度(CSAT)・応答時間 | 会話のあとの評価、答えが出るまでの時間 | 評価の数が少ないうちは参考程度に。応答時間は遅くなっていないかを見る |
| 電話・メールの問い合わせ件数 | チャットボットで本来減らしたかったもの | 導入する前の件数を残しておき、比べる |
数字だけを追うと、「回答率は上がったのに、答えの中身が間違っている」ことを見落とします。毎週、数件でよいので、会話の中身そのものを読むようにしてください。
運用が止まっているサインのチェックリスト
今お使いのチャットボットについて、当てはまるものがないか確かめてみてください。
- 最後に元の文書・FAQを直した日が分からない
- 答えられなかった質問を、誰も見ていない
- 導入を進めた担当者が異動・退職して、運用が止まっている
- 利用数が、導入した直後より減ってきた
- 答えに出典(どの文書から答えたか)が表示されない
- 社員やお客様から「結局、電話した方が早い」と言われる
今のチャットボットの使われ方をお聞きして、どこから直すとよいかを無料で整理します。
ほかの会社で入れたチャットボットをお使いの場合も、ご相談いただけます。
少人数で回す体制と役割
専任の担当者を置けなくても、役割を分けておけば運用は回ります。次の4つの役割を決めておくのがおすすめです。1人が2つの役割を兼ねてもかまいません。
| 役割 | 誰が(例) | やること |
|---|---|---|
| 責任者 | 部長・役員 | 対象範囲と答えない範囲を決める。3か月ごとの見直しに出る |
| 運用担当(兼務) | 総務・情報システム・窓口の担当者 | 毎週のログの確認と修正、毎月のまとめ |
| 内容を確かめる人 | 各部署の詳しい人 | 新しく足す答え・直した答えが正しいかを見る |
| システムの管理者 | 情報システムの担当者、または提供会社 | アカウント・権限・設定・文書の取り込み |
運用担当が1人だけだと、異動や休みで止まってしまいます。代わりの人を決め、毎週の作業(どこを開いて、何を見て、どこを直すか)を短い手順書にしておくと安心です。
また、運用担当が答えの中身まで判断しようとすると、負担が大きくなります。「答えが正しいかは、その業務の詳しい人が決める」と分けておくと、兼務でも続けやすくなります。
運用の流れ(公開前から広げるまで)
公開する前から、範囲を広げるまでの流れです。つまずきやすい点も、ステップごとにまとめました。
公開する前に、運用の決まりを作る
対象にする質問の範囲、答えない質問、人に引き継ぐ先、元の文書を誰が直すかを決めます。あわせて、導入する前の電話・メールの問い合わせ件数を記録しておきます。導入の手順はAIチャットボット導入の記事で紹介しています。
つまずきやすい点:導入する前の件数を残していないと、あとで効果を確かめられません。最初の1か月は、毎週ログを読む
公開した直後は、答えられない質問が一番多く出る時期です。毎週ログを読み、よく来る質問から順に答えを足します。
つまずきやすい点:この時期に直さないと、「使えない」と思われて、そのまま使われなくなりがちです。2か月目からは、毎月の振り返りを加える
毎週の修正を続けながら、月に1回、指標の推移と、古くなった文書がないかを確かめます。
つまずきやすい点:数字だけを見て、会話の中身を読まなくなること。毎週数件は中身を読みます。3か月ごとに、範囲と決まりを見直す
対象範囲を広げるか、答えない範囲や見られる人の権限は今のままでよいか、費用に見合っているかを、責任者と一緒に確かめます。
つまずきやすい点:異動などで、見る権限のない人が文書を見られるままになっていることがあります。別の部署・別の窓口へ広げる
1つの部署で回るようになったら、次の部署や窓口へ広げます。広げる先の部署にも、内容を確かめる人を決めてもらいます。
つまずきやすい点:一度に広げると、文書の更新が追いつかなくなります。1つずつ広げます。生成AI型のチャットボットで気をつけること
社内の文書を読んで答える生成AI型のチャットボットは、文書を足すだけで答えられる範囲が広がる反面、ルール型とは違う注意があります。
古い文書・重なった文書を残さない
改定前の規程や、同じ内容の古い版が残っていると、古い答えや混ざった答えを返すことがあります。新しい版を入れたら、古い版は読み込む対象から外します。
答えの出典を表示する
どの文書のどこから答えたかを表示しておくと、使う人が元の文書で確かめられます。運用担当にとっても、どの文書を直せばよいかが分かりやすくなります。
誤った答えが出る前提で、人が確かめる範囲を決める
生成AIは、文書にないことをそれらしく答えてしまう(ハルシネーション)ことがあります。お金・契約・安全に関わる質問は、チャットボットの答えだけで決めず、人が確かめる決まりにします。
質問に入る個人情報と、ログの扱いを決める
使う人が、質問の中に名前や連絡先などを書き込むことがあります。入力しないでほしい情報を画面に書いておき、ログを保存する期間と、ログを見られる人を決めます。入力した内容がサービスの中でどう扱われるかは、サービスの設定や契約によって違うため、提供会社に確かめてください。個人情報保護委員会も、生成AIサービスの利用について注意喚起を出しています。
運用代行・運用支援を頼むとき
社内で人手が足りない場合は、運用の一部を外の会社に頼む方法もあります(運用代行・運用支援)。ただし、すべてを任せられるわけではありません。頼めることと、自社に残すことを分けておくと、うまく進みます。
| 自社に残すこと | 外の会社に頼めること |
|---|---|
| 答えの中身が正しいかの判断 | ログの集計と、答えられなかった質問のまとめ |
| 答えない範囲、人に引き継ぐ先などの社内の決まり | 文書の取り込み・整理と、FAQの更新 |
| 対象範囲を広げるかどうかの判断 | 設定の調整と、答えの精度を上げるための改善の提案 |
頼むときは、毎月どんな報告を受けるか(集計した数字、直した内容、次に直す候補など)を、最初に決めておくと安心です。費用は、チャットボットの仕組み・質問の量・頼む範囲によって変わります。
零壱製作の進め方
零壱製作は、栃木県那須塩原市を拠点に、中小企業のAIチャットボットの導入から、導入したあとの運用まで支援しています。ほかの会社で入れたチャットボットの運用のご相談もお受けしています。
会話の記録や指標、元の文書の状態をお聞きして、どこから直すと効果が出やすいかを整理します。
答えない範囲、人に引き継ぐ先、文書を直す担当、毎週・毎月の作業の手順書を、御社の人数に合わせて一緒に作ります。
ログの集計、答えられなかった質問のまとめ、文書の取り込みとFAQの更新を、御社に代わって行います。答えの中身の確認は、御社の詳しい方と分担して進めます。
SotaTek との提携による技術基盤(SotaAgents)を使い、社内の文書を読んで答えるAIチャットボット(RAG)を、御社の業務に合わせて開発します。導入後も、答えの精度の改善や機能の追加を続けて支援します。
費用は、チャットボットの仕組みやお任せいただく範囲によって異なります。まずはご相談ください。
よくある質問
回せる形にできます。運用担当が毎週のログの確認と修正を受け持ち、答えの中身が正しいかは各部署の詳しい人に確かめてもらう、と分けるのがおすすめです。異動や休みで止まらないように、代わりの人と、毎週の作業の手順書も用意しておきます。
基本は、毎週のログの確認と、毎月の振り返りです。公開した直後の1か月は答えられない質問が多く出るので、毎週の確認を特に大事にしてください。対象範囲や権限の見直しは、3か月に1回程度を目安にします。規程や料金が変わったときは、その都度、元の文書を差し替えます。
まず、その答えがどの文書から作られたかを確かめます。元の文書が古い・間違っている場合は文書を直し、文書にないことを答えていた場合は、正しい答えを文書かFAQに足します。お金・契約・安全に関わる質問は、チャットボットの答えだけで決めず、人に引き継ぐ決まりにしておくと安心です。
ご相談いただけます。今の使われ方や管理画面で見られる項目をお聞きして、運用の決まりづくりや運用代行など、お手伝いできる範囲をご案内します。お使いの製品によって、できることが変わる場合があります。
制度によって対象になる費用が違い、運用の費用が対象になるとは限りません。チャットボットを導入するときの費用については、デジタル化・AI導入補助金の記事で、対象になるもの・ならないものをまとめています。
入れたチャットボットを、使われ続ける仕組みに
しませんか
今の使われ方をお聞きして、どこから直すとよいか、少人数で回すには何を決めればよいかを無料で整理します。
これから導入する方も、ほかの会社で入れたチャットボットをお使いの方も、お気軽にご相談ください。
AIを活用したシステム開発の詳しい内容もご覧いただけます。
下のフォームから、24時間受け付けています
0287-36-1480
平日9:00〜17:30(土日祝除く)
