メルカリAIチームの研究「Textual Content Moderation in C2C Marketplace」が ACL2022 ECNLP Workshopに採択されました

概要

今回CRE ML Teamによる、チャットメッセージにおける違反検知システムに関する研究「Textual Content Moderation in C2C Marketplace」が、国際学会 ACL（The Association for Computational Linguistics）のワークショップであるECNLPに採択されました。

ACLは言語処理系における最も権威のある学会の一つであり、開催60回目である今年のACL 2022はアイルランドの首都ダブリンで開催されました。ECNLPは今回で5回目の開催となる、eコマースと自然言語処理に関するワークショップです。

発表内容のポイント

• チャットメッセージの違反検知に機械学習システムを導入
• 違反検知精度を向上しながら、人力によるマニュアルチェック数の大幅な削減に貢献
• メンテナンス性に優れ、継続的な精度向上が可能なシステムを構築

研究の背景

メルカリでは商品の購入手続き後、出品者・購入者間で、チャットによるコミュニケーションを自由に行うことができますが、誹謗中傷や脅迫行為などは迷惑行為として利用規約で禁止しています。しかし、迷惑行為に該当する可能性があるやりとりを全て事務局が目視でチェックすることは難く、違反行為を検知するシステムによる自動スクリーニングを行っています。

以前は、違反検知のためにキーワード検索などのヒューリスティックを用いていましたが、精度に限界がありました。しかし、出品者・購入者同士のコミュニケーションはトラブルに発展しやすく、違反を見逃してしまった場合のリスクが大きいため、違反検知の再現性（= Recall）を担保する必要があります。また、ヒューリスティックによるスクリーニングを通過したとしても依然として偽陽性は高く、膨大な会話量を人手でチェックしていました。

今回の研究では、このスクリーニングに特化した機械学習モデルを利用したシステムの
導入により、再現性を担保したまま誤検知の数を減らし、結果的に人手によるチェックが必要な会話数を大幅に削減できることを報告しました。

Textual Content Moderation in C2C Marketplace - ACL Anthology

研究概要

メルカリにおいて、購入者による商品購入手続き後、出品者・購入者は互いに自由にチャットメッセージを送信することができますが、そのテキスト内容はそれ以前に行われていた会話の文脈を引き継いで意味を成している場合があります。そこで我々は送信されるテキスト単体について、違反 / そうでないか、という予測を行うのではなく、それまでの会話の文脈も考慮した上で、推測を行う機械学習モデルを考案し、メルカリの本番環境へ導入しました。

モデル自体は非常に軽量に設計されており、メルカリでやりとりされている膨大なチャットメッセージ全てに対し、合理的なコストで推論を行うことができます。また、今後、利用規約で定められた禁止行為の内容が変化することも考えられるため、違反内容の種類ごとに追加・変更・削除を容易に行えるアーキテクチャを採用しています。機械学習システムによりスクリーニングされた会話は、その後モデレーションスタッフのチェックを受けます。この時の判定は真のラベルとして学習データに追加されます。こうして、違反検知システム内にフィードバックループが構成され、継続的な精度向上が期待できます。

なお、チャットメッセージの不正・トラブル防止観点での確認については、法令を遵守し、お客さまの同意を得たうえで行っております。

CRE ML Teamについて

CRE MLチームでは今回採択された論文以外にも複数の機械学習サービスを運用し、お客さまの安心・安全のために技術的な面からサポートを行っております。