導入して安心していませんか？
突然ですが皆様の考えている「AIチャットボット」とはどのようなものでしょうか？
既にAIチャットボットを導入した企業様は何の目的をもって導入されましたか？
これからAIチャットボット導入をお考えの企業様は、AIチャットボットで何をされたいのでしょうか？
チャットボットに期待することは利用目的によって変わるかと思います。
期待することの例として多いのが、質問する側、対応する側の問合せにかかる工数削減で、業務時間外や休日の対応、些細なことでも気軽に問合せできるという点です。
また、多くの人が「AIは万能」というイメージを持たれています。
しかし、実際には導入後、このような声をよく耳にします。
質問をしても「よく分かりません」と言われるばかりで全然解決しない
新しい規則やシステムが導入されたのに、それに関するFAQが追加されていないから使えない
チャットボットの利用数が伸びず、対応の工数が減らない
思った以上に運用する時間が必要。でもその時間を捻出できない
そのため、利用数が減り、費用対効果などを感じることが出来ずチャットボットを解約してしまう企業様が多くいらっしゃいます。
では、導入して使い続けるには、一体何が大事なのでしょうか？
そう、「導入成功！」のカギを握るのは導入後のメンテナンス（つまり運用）です！
AIチャットボット導入を成功に導くか否かは、メンテナンスによって大きく変わります。
じつはAIチャットボットの公開直後の回答精度は、良くて60％程度がほとんどです。
それはユーザーが 作成者の想定していない質問や聞き方をしてくるからで、公開前にそれらすべてを網羅するのは不可能だからです。
大事なのは、公開後ユーザーから多くの質問をしてもらい、ユーザーのログを基に（誤って表示した回答を正しい回答に紐づけなおすなど）チューニングを行うことです。
公開から3か月後に回答精度80％を目指し、それを維持することが重要です。
上記のグラフからもわかるようにAIチャットボットは自動で賢くならず、万能ではありません。
そのため、人の目と手でメンテナンスをする必要があります。
では、どのようなメンテナンスをすれば回答精度が高いAIチャットボットになるのでしょうか？
AIチャットボットのメンテナンスで行う3項目とは
AIチャットボットのメンテナンスでは主に3つの項目を行なっていきます。
回答精度の向上
AIチャットボットのメンテナンスでは主に上記3つの項目を行なっていきます。
機械学習のAIでは質問内容と回答内容を共に学習させます。
この際、質問内容にはそれぞれの回答内容から想像できる質問を拡充しておきます。
この質問内容のことを「学習データ」と言います。
ユーザから例えば「落し物の担当部署が知りたい」と質問があった場合、チャットボットはまず、ユーザの質問に含まれるキーワードが何か確認します。
ここでは「落し物」「担当部署」がキーワードとなります。
AIはそのキーワードを含む学習データを探します。
この場合だと「落し物を拾った場合どうすべき」「拾得物に関して担当部署を確かめたい」がキーワードを含む文章ですね。
そうするとAIはその学習データに紐づいている「落し物についてですね。」という回答を表示する、というような仕組みになっています。
ユーザーの質問をそのまま学習データにするのはダメ？？
お客様からよく「ユーザーからきた質問をそのまま全てAIに学習させたら精度が上がるんじゃないか？」とご質問を頂きます。
しかし、こちらのグラフを見てお分かりのようにログをそのまま学習データとして使用した場合、分析、精査した学習データと比べなかなか回答精度が上がりません。
ではなぜこんなことが起こるのでしょうか？
それは、AIチャットボットは学習データの量とバランス・精査がとても重要だからです。
AIチャットボットは 学習データの量とバランスがとても大切です。
たとえ有効な質問でも学習データの投入数を間違えるとバランスを崩し、同じキーワードを含む回答同士が引っ張られやすくなるなどの現象が起きてしまいます。
そのため、対象のログを分析し、適切な量の学習データを投入することで回答精度向上に効果が出ます。
またその際、誤字やチャットボットとまったく関係ない質問などはノイズとなり全体の回答精度に影響する可能性があるため、学習データとして追加しません。
そのため、ユーザーの質問からノイズとなる質問を除外、精査する作業もメンテナンスで行います。
学習データの量とバランス・精査がとても重要とお分かりいただけたでしょうか？
では、ログを基に具体的にどのような流れで実際に回答精度向上を行っているのか。
それがこの４工程になります。
１．質問文の有効無効分析
２．誤答の分析
３．分析を基にチューニング
４．新規回答追加の対応
誤答とは、意図と違う回答が返ってきた質問文のことです。
この４工程を経て回答精度の向上をはかります。
今回のまとめ
AIチャットボットはまだまだ自動で賢くならず、万能ではない
AIチャットボットは学習データの量とバランス・精査がとても重要
ユーザーの質問をそのまま追加するのはNG
対象のログを分析し、適切な量の学習データを投入することで回答精度向上に効果が出る
次回は、上記の具体的な工程の解説に入りますのでお楽しみに！
Comments