「家族以上にAIと話していた」 精度を高める泥臭いステップ
──運用準備の段階で、実際にオペレーターに加盟店役を担ってもらい、1日200件、合計4,000件ほど電話をかけてテストをしたともお聞きしました。
岡田：そのとおりです。想像以上に力技で試し続けました。オペレーターには、わざとゆっくり話してほしい、訛りを入れてほしいと依頼し、さまざまなパターンでテストしました。
オペレーターはお客様が実際どう発話し、どう会話するのかをよく理解しているため、実践的なテストができたと思います。PoCを重ねるうちに、複雑な内容でも徐々にAIが理解できるようになってきました。最終的に、社内のPoCでAIの認識率が90%以上まで上がり、リリースに至りました。
リリース時点で、FAQの数は120個ほどに。応対の文字起こしを見て、どこでお客様がどう発話しているのか、AIの回答がFAQに合致しているかを細かく確認するなど、ここまで地道な作業の繰り返しでした。
──お客様の話をどこまでAIが理解するかは、運用してみなければわかりません。実際に、社内テスト時にはAIの認識率が90%に達していましたが、本番リリース直後は69%にまで落ち込んだと聞いています。それでも継続的に改善し、数値を押し上げてこられました。
岡田：はい。当時は家族以上にAIと話していました。良かった点は、エンジニアやベンダーに依頼して調整するのではなく、気づいときに修正し、お客様の発話への反応を確認し、もう一度チューニングするサイクルを、現場で作り上げられたことです。結果的に、全国展開前に安定化できたのだと思います。
福山：加えて、認識率以上に重要な指標が正答率、つまり「あまり間違えないこと」です。仮にお客様の意図を完全には理解しきれていなくても、嘘はつかない。それが、IVRyのメリットです。今後は意図を理解する精度をより高め、AIが応対を完了させる代替率も上げていけると確信しています。
避けては通れないコンプライアンス部門との合意形成 どう突破した？
──最初に懸念として上がっていたコンプライアンス面は、社内でどう合意形成したのでしょうか。
JCB システム企画部 寺澤洋介氏（以下、寺澤）：IVRyの導入を検討した時点で、すでにAIガイドラインが社内で存在していました。社内業務の効率化から一歩進めて、お客様とのコミュニケーションの場や個人情報を取り扱う領域にAIを導入できないか、検討していた段階だったのです。
当時は、「社内で活用するだけ」「取り扱う情報は影響範囲が狭いものに限る」と、かなり厳しいガードレールを敷いていました。それをどう乗り越えていくのかが、本プロジェクトの最初の一歩でした。
──何を軸に進められたのですか。
寺澤：リスクを評価する側は、現場の要望に応えるだけでなく、安全に使うためのブレーキ役も担わなければなりません。なんでもできてしまうAIに、何を「させない」か明確に決めておく。この合意形成なくして、プロジェクトを始めることはできないのです。JCBは事前評価がかなり厳格な会社。IVRyには、たとえばIP制限やAIの使用ログを取れるようにすることなど、多くの要望を出し、対応していただきました。
──ありがとうございます。最後に、今後の展望を教えてください。
福山：加盟店デスクへのAI実装は、成功だと思っています。一方で、もう少し突き詰めたい想いもあります。次は、他の問い合わせ窓口——特に会員向けデスクは圧倒的に応対数が多いため、そこまでAIを展開していくことが大きな目標です。また、グループ会社も同じ範囲で電話対応をしているため、加盟店デスクでの成功を横展開できるのではないかと考えています。
加えて、もう一つフォーカスしなければならない領域がデータ活用です。加盟店デスクが取り扱う音声データは、全体の30分の1程度。それ以外の音声データは、基本的に自社の基盤に残っています。それらも非常に価値のあるデータであるため、今後は分析を進めたいです。
マスキング処理をしなければAIにデータを読み込ませられないため、一手間かけた上で、IVRyと当社間でデータシェアリングできる方法を模索しています。一部ではなく全社的なVoCの分析を通じて、お客様の満足度を上げていきたいです。
もちろん、ほかにも課題はあります。AIオペレーターから有人対応に切り替わった後、お客様と人間のオペレーターが何を話しているのかはブラックボックスです。また、会話に個人情報が含まれると、ログを取ることはなかなか難しい。しかし、それでは有人対応後の内容をうまくAIに反映できません。この課題が解決して初めて、VoCの価値が生きるはずです。機能をうまく組み合わせながら、適用範囲を広げていきます。
