メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

概要

この度、メルカリAIチームの元インターン生である須賀 幹太（早稲田大学先進理工学研究科）およびメルカリAIチームのエンジニアである宮本 琳太郎・桂 尚輝・梅澤 慶介が、論文「過去クエリを介した関連文書検索システム」について、言語処理学会第30回年次大会（NLP2024）にてポスター発表を行いました。

言語処理学会は、自然言語処理（NLP）の研究者・技術者が集う国内最大級の学会で、 第30回にあたるNLP2024は、2024年3月11日から3月15日まで兵庫県神戸市にて開催されました。

研究の背景

メルカリでは、お客さまのお問い合わせ対応や、不正検知のためのツールを内製で開発しています。特に、お困りごとを抱えたお客さまを素早く解決に導くことは、お客さま満足度の向上の観点でも非常に重要です。

もちろんお客さまによってお困りの状況や背景は異なりますが、過去にいただいたお問い合わせの中には類似した内容もあり、これまでに蓄積された情報を有効活用することで、解決時間の削減を目指し、今回の手法を提案しました。

研究概要

メルカリではサービス内にお問い合わせフォームを設けており、お客さまにお困りごとがあった際に問い合わせをお送りいただけるようになっています。メルカリでは多数のお問い合わせをいただいており、お客さまの困りごとに素早く対応するためにも、解決時間の効率化が求められています。

お問い合わせの多くは、過去の別のお問い合わせに類似しており、対応方法を検討するべく、過去の類似したお問い合わせを参照することは業務効率改善の糸口となります。

しかしながら、サービス運営上、対応マニュアルやシステムの変更は一定発生するため、過去のお問い合わせを参照するだけでは不十分な状況もあります。したがって、本研究では、過去のお問い合わせを用い、現行のヘルプガイドを検索する手法を提案し、実験では複数の条件を変更した場合の結果の比較を含めて報告しました。

発表内容のポイント

本論文では、お客さまがメルカリでお困りごとがあった際に、カスタマーサポートにお送りいただくお問い合わせの文章と、過去の会話履歴データを用い、お困りの状況に対する解決策を既存のヘルプガイドと関連付けて検索する手法を提案します。

今回の提案手法では、お客さまのお問い合わせを、文書埋め込みモデルを用いてベクトル化しました。同様にベクトル化された過去のお問い合わせ履歴から、高い類似度のお問い合わせを収集し、そのお問い合わせの返信文と高い類似度を示すヘルプガイドを多数決でリンクさせることで、高い検索精度を達成しました。

今回発表を行ったポスター

発表者のコメント

須賀 幹太 | メルカリ AIチーム 元インターン

今回の取り組みに関して、学会という場で意見を直接交換することによって新たな改善点が見つかり、成果を対外的に発表していくことの重要性を実感しました。

また、様々な発表を見る中でAI分野の技術的進歩の速さを痛感し、よりキャッチアップに努めなければいけないと感じました。インターンでありながらこのような発表機会をいただき、とても貴重な経験となりました。ありがとうございました。

桂 尚輝 | メルカリ ML Engineer

今年の言語処理学会の年次大会では、ポスター発表に加え、メルカリのスポンサーブースを設け、国内の学生や研究者、エンジニアと議論を行うことができました。

企業の研究者やエンジニアからは、お問い合わせに関する言語モデルの利用に関して、直面している課題が共通の認識であることが多いと感じました。本会議では、有意義なインプットと議論の場となりました。議論を通じて得られた知見を、メルカリの事業に活かしていきます。

現地でのメンバーの様子

スポンサーブースの様子

CRE（Customer Reliability Engineering） ML Teamについて

メルカリのカスタマーサポート領域において、機械学習を用いた内製ツールの開発・業務効率化を行っています。