「AIチャットボットを入れたが、だんだん使われなくなってきた」「規程が変わったのに、古い答えを返している」「誰が何を見ればよいのか決まっていない」。AIチャットボットは、入れたあとの運用で使われ方が大きく変わります。

この記事では、専任の担当者を置けない中小企業でも回せるように、運用でやること・体制・見るべき指標・直し方を、毎週・毎月の作業に分けてまとめました。これから導入する方は、AIチャットボット導入の手順と費用の目安もあわせてご覧ください。

結論 運用の中心は「答えられなかった質問を拾い、元の文書・FAQを直す」ことのくり返しです
  • やること:会話の記録(ログ)を読み、答えられなかった質問や「役に立たなかった」と評価された答えを見つけて、元の文書・FAQを直します。
  • 体制と頻度:少人数なら、運用担当1人(兼務)と、内容を確かめる各部署の詳しい人で回せる形にします。基本は毎週のログの確認と、毎月の見直しです。
  • この記事が役に立つ方:これから入れる方、入れたものの使われ方が分からない方、答えが古くなってきた方。ほかの会社で入れたチャットボットでも考え方は同じです。

運用でやることの一覧(毎週・毎月・3か月ごと)

AIチャットボットの運用でやることを、頻度ごとにまとめました。最初からすべてを完璧にこなす必要はありません。まずは「毎週」の行から始めてください。

頻度やること担当見るところ
毎日
(社外向けのとき)
人への引き継ぎが止まっていないかを確かめる窓口の担当引き継ぎ待ちの件数
毎週答えられなかった質問と「役に立たなかった」と評価された答えを読み、回答・文書を直す運用担当会話の記録(ログ)
毎月指標を振り返る/元の文書が古くなっていないかを確かめる/使われていない部署に声をかける運用担当・責任者指標の推移、文書の更新日
3か月ごと対象範囲を広げるか、答えない質問の線引き、見られる人の権限、費用に見合っているかを見直す責任者・システムの管理者電話・メールの問い合わせ件数の変化
その都度規程・料金・製品・作業手順が変わったら、元の文書を差し替える変更した部署—
AIチャットボットの運用の回し方の図:答えられなかった質問を拾う、詳しい人に確かめる、文書・FAQを直す、指標で効果を見る、の4つをくり返す

この4つの作業をくり返すほど、チャットボットが答えられる範囲が広がり、「聞けば分かる」と思ってもらいやすくなります。反対に、ここが止まると、答えられない質問が残ったままになり、使う人が少しずつ離れていきます。

運用している・していないで、何が変わるか

運用が止まったときによく起きることと、運用で防げることを、よくある場面ごとに比べます。

社内の規程・手続きの質問(総務・人事)

運用していないと

経費精算の決まりが変わったのに、チャットボットは古い規程のまま答えています。社員が古い手順で申請し、総務が差し戻す手間が増えてしまいます。

運用していると

「規程を変えた部署が、その日のうちに元の文書を差し替える」と決めてあります。チャットボットの答えも、変わった日から新しい手順になります。

現場の作業手順・様式の質問

運用していないと

機械の操作手順や書類の様式を聞かれても「該当する情報が見つかりません」と返すだけです。現場の人は、結局ベテランに電話で聞いています。

運用していると

答えられなかった質問を毎週拾い、現場の詳しい人に答えを確かめてもらってから文書に足します。同じ質問には、次からチャットボットが答えやすくなります。

お客様からの問い合わせ(社外の窓口)

運用していないと

営業時間外の質問が「担当者にお問い合わせください」で終わり、その後の連絡がないままになることがあります。

運用していると

人に引き継ぐ先と、返事をする目安を決めてあります。よく来る質問から順に答えを足していくので、引き継ぐ件数が落ち着いていくことも期待できます。

担当者の異動・休み

運用していないと

導入を進めた担当者が異動して、誰もログを見なくなりました。いつから答えが古いのか、誰にも分かりません。

運用していると

担当者と代わりの人を決め、毎週の作業を手順書にしてあります。担当が替わっても、同じやり方で続けられます。

社内の問い合わせをチャットボットに任せる進め方は、社内FAQをAIで効率化する方法でも紹介しています。

社内向け・社外向けで、運用の重点はどう違うか

同じAIチャットボットでも、社員が使うか、お客様が使うかで、運用で一番大事にすることが変わります。

社内向け(社内FAQ・社内文書)社外向け(お客様の問い合わせ窓口)
一番大事にすること元の文書を新しく保つ間違えないこと、人にすぐつなぐこと
よく来る質問規程・手続き・社内システムの使い方・作業手順料金・納期・在庫・使い方・故障
答えない範囲の例人事評価、個人の給与など見積の金額、契約の判断、苦情への対応など
見られる文書の範囲部署ごとに見せる文書を分ける社内向けの文書を混ぜない

また、チャットボットの仕組みによっても、直すものが違います。

ルール型(質問と答えを登録する)生成AI型(社内の文書を読んで答える)
直すもの質問と答えの組を1件ずつ元の文書(規程・マニュアル)とFAQ
苦手なこと登録した言い回しと違う聞き方古い文書・重なった文書があると、古い答えや混ざった答えを返す
運用のコツ言い換えの表現を足していく文書の更新を決まりにし、答えの出典(どの文書から答えたか)を表示する

社内の文書を読んで答える仕組みは「RAG」と呼ばれます。仕組みはRAG(社内RAG)とは?で説明しています。

見るべき指標(KPI)の意味と見方

運用の指標はたくさんありますが、少人数なら次の7つで足ります。どれも、チャットボットの管理画面や会話の記録から確かめられることが多い数字です(見られる項目は製品によって異なります)。

指標意味見方
利用数
(利用者数・質問数)
どれだけ使われているか減ってきたら、案内のしかたや入口の場所を見直す
回答率「分かりません」ではなく、答えを返せた割合答えられなかった質問が、そのまま直す候補になる
自己解決率人に回さずに解決した割合(「封じ込め率」と呼ばれることもある)社外向けで特に見る。会話の最後の評価や、その後の問い合わせの有無で確かめる
人への引き継ぎ率担当者に回した割合下げすぎない。お金・契約・安全に関わる質問は、人に回すのが正解
「役に立たなかった」・途中でやめた割合答えに満足していないサイン会話の中身を読み、文書が足りないのか、言い回しの問題なのかを分ける
満足度(CSAT)・応答時間会話のあとの評価、答えが出るまでの時間評価の数が少ないうちは参考程度に。応答時間は遅くなっていないかを見る
電話・メールの問い合わせ件数チャットボットで本来減らしたかったもの導入する前の件数を残しておき、比べる
目標の数値は、業種・質問の種類・チャットボットの仕組みによって大きく変わります。ほかの会社の数字を目標にするより、「導入する前と比べてどうか」「前の月より良くなったか」で見るのがおすすめです。

数字だけを追うと、「回答率は上がったのに、答えの中身が間違っている」ことを見落とします。毎週、数件でよいので、会話の中身そのものを読むようにしてください。

運用が止まっているサインのチェックリスト

今お使いのチャットボットについて、当てはまるものがないか確かめてみてください。

  • 最後に元の文書・FAQを直した日が分からない
  • 答えられなかった質問を、誰も見ていない
  • 導入を進めた担当者が異動・退職して、運用が止まっている
  • 利用数が、導入した直後より減ってきた
  • 答えに出典(どの文書から答えたか)が表示されない
  • 社員やお客様から「結局、電話した方が早い」と言われる
3つ以上当てはまる場合は、運用の進め方を一度見直すと、使われ方が変わる可能性があります。
3つ以上当てはまったら、使われ方と直す順番を一緒に整理します

今のチャットボットの使われ方をお聞きして、どこから直すとよいかを無料で整理します。
ほかの会社で入れたチャットボットをお使いの場合も、ご相談いただけます。

無料で運用を見直してもらう

少人数で回す体制と役割

専任の担当者を置けなくても、役割を分けておけば運用は回ります。次の4つの役割を決めておくのがおすすめです。1人が2つの役割を兼ねてもかまいません。

役割誰が(例)やること
責任者部長・役員対象範囲と答えない範囲を決める。3か月ごとの見直しに出る
運用担当(兼務)総務・情報システム・窓口の担当者毎週のログの確認と修正、毎月のまとめ
内容を確かめる人各部署の詳しい人新しく足す答え・直した答えが正しいかを見る
システムの管理者情報システムの担当者、または提供会社アカウント・権限・設定・文書の取り込み

運用担当が1人だけだと、異動や休みで止まってしまいます。代わりの人を決め、毎週の作業(どこを開いて、何を見て、どこを直すか)を短い手順書にしておくと安心です。

また、運用担当が答えの中身まで判断しようとすると、負担が大きくなります。「答えが正しいかは、その業務の詳しい人が決める」と分けておくと、兼務でも続けやすくなります。

運用の流れ(公開前から広げるまで)

公開する前から、範囲を広げるまでの流れです。つまずきやすい点も、ステップごとにまとめました。

STEP 01

公開する前に、運用の決まりを作る

対象にする質問の範囲、答えない質問、人に引き継ぐ先、元の文書を誰が直すかを決めます。あわせて、導入する前の電話・メールの問い合わせ件数を記録しておきます。導入の手順はAIチャットボット導入の記事で紹介しています。

つまずきやすい点:導入する前の件数を残していないと、あとで効果を確かめられません。
STEP 02

最初の1か月は、毎週ログを読む

公開した直後は、答えられない質問が一番多く出る時期です。毎週ログを読み、よく来る質問から順に答えを足します。

つまずきやすい点:この時期に直さないと、「使えない」と思われて、そのまま使われなくなりがちです。
STEP 03

2か月目からは、毎月の振り返りを加える

毎週の修正を続けながら、月に1回、指標の推移と、古くなった文書がないかを確かめます。

つまずきやすい点:数字だけを見て、会話の中身を読まなくなること。毎週数件は中身を読みます。
STEP 04

3か月ごとに、範囲と決まりを見直す

対象範囲を広げるか、答えない範囲や見られる人の権限は今のままでよいか、費用に見合っているかを、責任者と一緒に確かめます。

つまずきやすい点:異動などで、見る権限のない人が文書を見られるままになっていることがあります。
STEP 05

別の部署・別の窓口へ広げる

1つの部署で回るようになったら、次の部署や窓口へ広げます。広げる先の部署にも、内容を確かめる人を決めてもらいます。

つまずきやすい点:一度に広げると、文書の更新が追いつかなくなります。1つずつ広げます。

生成AI型のチャットボットで気をつけること

社内の文書を読んで答える生成AI型のチャットボットは、文書を足すだけで答えられる範囲が広がる反面、ルール型とは違う注意があります。

POINT 01

古い文書・重なった文書を残さない

改定前の規程や、同じ内容の古い版が残っていると、古い答えや混ざった答えを返すことがあります。新しい版を入れたら、古い版は読み込む対象から外します。

POINT 02

答えの出典を表示する

どの文書のどこから答えたかを表示しておくと、使う人が元の文書で確かめられます。運用担当にとっても、どの文書を直せばよいかが分かりやすくなります。

POINT 03

誤った答えが出る前提で、人が確かめる範囲を決める

生成AIは、文書にないことをそれらしく答えてしまう(ハルシネーション)ことがあります。お金・契約・安全に関わる質問は、チャットボットの答えだけで決めず、人が確かめる決まりにします。

POINT 04

質問に入る個人情報と、ログの扱いを決める

使う人が、質問の中に名前や連絡先などを書き込むことがあります。入力しないでほしい情報を画面に書いておき、ログを保存する期間と、ログを見られる人を決めます。入力した内容がサービスの中でどう扱われるかは、サービスの設定や契約によって違うため、提供会社に確かめてください。個人情報保護委員会も、生成AIサービスの利用について注意喚起を出しています。

運用代行・運用支援を頼むとき

社内で人手が足りない場合は、運用の一部を外の会社に頼む方法もあります(運用代行・運用支援)。ただし、すべてを任せられるわけではありません。頼めることと、自社に残すことを分けておくと、うまく進みます。

自社に残すこと外の会社に頼めること
答えの中身が正しいかの判断ログの集計と、答えられなかった質問のまとめ
答えない範囲、人に引き継ぐ先などの社内の決まり文書の取り込み・整理と、FAQの更新
対象範囲を広げるかどうかの判断設定の調整と、答えの精度を上げるための改善の提案

頼むときは、毎月どんな報告を受けるか(集計した数字、直した内容、次に直す候補など)を、最初に決めておくと安心です。費用は、チャットボットの仕組み・質問の量・頼む範囲によって変わります。

零壱製作の進め方

零壱製作は、栃木県那須塩原市を拠点に、中小企業のAIチャットボットの導入から、導入したあとの運用まで支援しています。ほかの会社で入れたチャットボットの運用のご相談もお受けしています。

01
今の使われ方の整理

会話の記録や指標、元の文書の状態をお聞きして、どこから直すと効果が出やすいかを整理します。

02
運用の決まりと体制づくり

答えない範囲、人に引き継ぐ先、文書を直す担当、毎週・毎月の作業の手順書を、御社の人数に合わせて一緒に作ります。

03
運用代行

ログの集計、答えられなかった質問のまとめ、文書の取り込みとFAQの更新を、御社に代わって行います。答えの中身の確認は、御社の詳しい方と分担して進めます。

04
社内の文書を読んで答えるチャットボットの開発

SotaTek との提携による技術基盤(SotaAgents)を使い、社内の文書を読んで答えるAIチャットボット(RAG)を、御社の業務に合わせて開発します。導入後も、答えの精度の改善や機能の追加を続けて支援します。

費用は、チャットボットの仕組みやお任せいただく範囲によって異なります。まずはご相談ください。

AIを使ったシステム開発について、詳しくはこちら

対応できるAIの種類や、開発の進め方をまとめています。

AIを活用したシステム開発を見る

よくある質問

回せる形にできます。運用担当が毎週のログの確認と修正を受け持ち、答えの中身が正しいかは各部署の詳しい人に確かめてもらう、と分けるのがおすすめです。異動や休みで止まらないように、代わりの人と、毎週の作業の手順書も用意しておきます。

基本は、毎週のログの確認と、毎月の振り返りです。公開した直後の1か月は答えられない質問が多く出るので、毎週の確認を特に大事にしてください。対象範囲や権限の見直しは、3か月に1回程度を目安にします。規程や料金が変わったときは、その都度、元の文書を差し替えます。

まず、その答えがどの文書から作られたかを確かめます。元の文書が古い・間違っている場合は文書を直し、文書にないことを答えていた場合は、正しい答えを文書かFAQに足します。お金・契約・安全に関わる質問は、チャットボットの答えだけで決めず、人に引き継ぐ決まりにしておくと安心です。

ご相談いただけます。今の使われ方や管理画面で見られる項目をお聞きして、運用の決まりづくりや運用代行など、お手伝いできる範囲をご案内します。お使いの製品によって、できることが変わる場合があります。

制度によって対象になる費用が違い、運用の費用が対象になるとは限りません。チャットボットを導入するときの費用については、デジタル化・AI導入補助金の記事で、対象になるもの・ならないものをまとめています。

無料相談受付中

入れたチャットボットを、使われ続ける仕組みに
しませんか

今の使われ方をお聞きして、どこから直すとよいか、少人数で回すには何を決めればよいかを無料で整理します。
これから導入する方も、ほかの会社で入れたチャットボットをお使いの方も、お気軽にご相談ください。

AIを活用したシステム開発の詳しい内容もご覧いただけます。

フォームでのご相談

下のフォームから、24時間受け付けています

お電話でのご相談

0287-36-1480
平日9:00〜17:30(土日祝除く)