Blog

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニア 大橋 耕也・関根 翔・Deddy Jobson・Jie Yangによる論文「<a href="https://drive.google.com/file/d/1gW4ocpkH3To1kgEbg8ciXwcb6V4tRQi0/view">Strategic Coupon Allocation for Increasing Providers' Sales Experiences in Two-sided Marketplaces</a>」が、データマイニング分野の国際会議である<a href="https://kdd2024.kdd.org/">KDD2024</a>の<a href="https://sites.google.com/view/tsmo2024/home">Workshop on Two-sided Marketplace Optimization（TSMO 2024）</a>に採択され、発表を行いましたことをお知らせいたします。</p>
<p>本研究はメルカリの研究開発組織である『<a href="https://r4d.mercari.com/">mercari R4D</a>』の支援を受け、筑波大学との共同にて研究を行いました。</p>
<p>KDDは、データマイニング分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。本年は、スペインのバルセロナにて、2024年8月25日から29日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<p><a href="https://drive.google.com/file/d/1gW4ocpkH3To1kgEbg8ciXwcb6V4tRQi0/view">Strategic Coupon Allocation for Increasing Providers' Sales Experiences in Two-sided Marketplaces</a></p>
<p>今回の発表では、できるだけ多くの出品者に商品の売却体験を提供するためのクーポン配布戦略を提案しました<br />
売却体験を通じて満足度が向上すれば、ユーザーは積極的に出品を続ける可能性が高まり、プラットフォームの魅力や、出品される商品の量と多様性が、さらに向上することが期待されます</p>
<h2>研究の背景</h2>
<p>メルカリのようなCtoCマーケットプレイスでは、プラットフォーマーが直接的なサプライチェーンを持っていないため、出品商品の量や種類を増やすためには、個人の出品者の自発的な出品活動を促進する必要があります。出品行為には、商品の選定や撮影、売却後の梱包など一定の労力がかかるため、出品者がアクティブに行動するためには強いモチベーションが不可欠です。出品モチベーションに影響を与える要因は個人によって異なりますが、最も根本的かつ重要な体験は「売却体験（商品が売れること）」であると考えています。そのため、できるだけ多くのユーザーに売却体験を提供することが重要です。</p>
<p>しかし、メルカリのような二面市場（Two-sided market）においては、プラットフォーマーによる適切な介入が行われないと、トランザクションが一部のユーザーに偏るリスクが指摘されています。そこで、我々Data Scienceチームでは、最もよく用いられるマーケティングツールのひとつであるクーポンを活用し、トランザクションの偏りを解消することで、より多くの出品者に売却体験を提供することを目指しました。</p>
<h2>研究概要</h2>
<p>本論文では、売却体験ユーザー数をKPIとしたクーポン配布戦略の最適化手法を提案しました。一般的に、クーポン配布を特定のKPIに対して最適化するためには、対象ユーザーへのメリハリのある介入が必要となります。Uplift modelingと数理最適化を活用して、効率的なクーポン配布戦略を提案しました。</p>
<p>提案手法を活用することで、従来の方法に比べ、より多くの出品者が売却体験を得られることをメルカリの実データで確認しました。この手法の運用により、多くの出品者の満足度が向上し、個々の自発的な出品行動の促進が期待されます。</p>
<h2>Data Science Teamについて</h2>
<p>メルカリのData Scienceチームでは、統計学、機械学習、数学的最適化などの技術を駆使して、顧客理解分析やマーケティング活動の効率化、さらにはプロダクト機能の開発を行っています。</p>
<h2>mercari R4Dについて</h2>
<p>「<a href="https://r4d.mercari.com/">mercari R4D</a>」は2017年12月に設立した、社会実装を目的とした研究開発組織です。「まだ見ぬ価値を切り拓く」というミッションのもと、メルカリが目指す限りある資源を循環させ、あらゆる人が可能性を発揮できる社会の実現に向けて、産業界やアカデミア、国といった枠を超えてコミュニティをつなぎ、科学技術の力で複雑な社会課題を解決するCo-Innovation的アプローチを推進しています。</p>


メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

<p>この度、メルカリAIチームのエンジニアYilin LiとDeddy Jobsonによる論文「<a href="https://dl.acm.org/doi/10.1145/3665939.3665969">LLMs as an Interactive Database Interface for Designing Large Queries</a>」が、データマネジメント分野の国際会議「<a href="https://2024.sigmod.org/">SIGMOD 2024（The ACM Special Interest Group on Management of Data）</a>」の<a href="https://hilda.io/2024/SIGMOD%202024">HILDA Workshop</a>に採択されたことをお知らせいたします。</p>
<p>SIGMOD 2024 はデータマネジメントの分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催49回目である今年の「SIGMOD2024」は、チリ、サンティアゴにて2024年6月9日から14日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<ul>
<li>現在のText2SQLは、メルカリの規模のデータベースに対して拡張されると、不正確なクエリを生成してしまうことがあります</li>
<li>今回の論文では、SQLクエリを反復的に微調整するために、人間のフィードバックを取り入れるシステムを構築しました</li>
<li>次のイテレーションでは、Schema Linkingを改善するためにナレッジグラフを活用を検討しています</li>
</ul>
<h2>研究の背景</h2>
<p>大企業において、SQLクエリの作成は時間を要し、骨の折れる作業になります。必要なデータは複数のテーブルに散在しており、またこれらのデータは常に更新されるため、専門外のメンバーなどが一回限りのデータ分析タスクのためにクエリを作成することは極めて難しくなります。</p>
<h2>研究概要</h2>
<p>メルカリにおけるデータの民主化を進めるべく、テキストからSQLへの変換を行うLLMを利用したソリューションを実装します。すでに既存の多くの方法が存在する一方で、検出が困難なエラーを引き起こす傾向も見られました。そのため、Text2SQLを一回限りの生成プロセスとして扱うのではなく、人間が介入するインタラクティブな問題として捉えます。我々は、クエリをエンドユーザーに返す前に検証ステージと人間のフィードバックを含むシステムを構築します。今回の提案手法は、エラーを減少させ、より有用なクエリを生み出すことができます。</p>
<h2>Customer Understanding Teamについて</h2>
<p>Customer Understandingチームは、統計学、数理最適化、大規模言語モデルなど、様々な技術を活用し、メルカリグループのお客さまの行動を分析し、カスタマージャーニーとLTVを最適化するための戦略の提案を行っています。</p>


メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

Interview

<p>現在、メルカリのML組織には、多くのMLエンジニアが所属しています。しかし、MLエンジニアは同一部署に所属しているわけではなく、社内の様々な部署に分散して所属し、それぞれのチームが直面している課題に対して開発を推進しています。</p>
<p>しかし、ML組織の分散・拡大にともない、メルカリのMLチームは、ナレッジシェアやチーム間連携がしづらいといった課題を抱えていました。そうした壁を超えるべく、2022年より、現場のエンジニアメンバーによる旗振りで、「Mercari AI/ML Guild（以下、ML Guild）」が設立。ML Guildは、MLエンジニアの情報共有を目的に、月に1回必ず継続して運営されています。</p>
<p>現場のエンジニアのアイディアにより取り組み開始し、その後定期的な開催を行っているML Guildについて、その設立と運営をリードしてきたエンジニアAbhinav Kumar ・Paul Willot・ 西岡 祐輔の3名に、設立の背景や、組織上の課題がML Guildによってどう変化してきたか、話を聞きました。</p>
<h2>プロフィール</h2>
<h3>Abhinav Kumar (@Abhinav)</h3>
<p>2018年にML Engineerとしてメルカリに新卒入社。入社後、画像検索チームに所属し、その後Data Science Backendチームに異動し、チームのEM（Engineering Manager)） / TechLeadを担当し、パーソナライゼーション機能の開発を推進。直近で、広告エンジニアリングチームに加わり、メルカリ広告インフラストラクチャの開発を行う。ML とバックエンドへの関心に加えて、チーム効率化にも取り組む。</p>
<h3>Paul Willot (@meatboy)</h3>
<p>2021年メルカリに入社。DeepLearningに専門性を持つ。モデリングや大規模データの処理から、ランタイムの最適化やクラスタ展開まで、MLスタック全般の経験を持ち、研究と開発間のギャップを埋めている。メルカリ入社前は、FinTech企業で大規模なリアルタイム予測モデルの開発や、日本の大企業に対するコンサルティングを担当していた。</p>
<h3>西岡 祐輔 | Yusuke Nishioka (@ysk24ok )</h3>
<p>インターネット広告会社で広告配信アルゴリズムの改善やデータ基盤の立ち上げ、AIスタートアップで音声認識プロダクトの開発などを経て、2021年にメルペイに入社。2022年にメルカリに異動し、現在はML Platformの機能拡張や保守に携わる。</p>
<p><strong>ーまず、みなさんの自己紹介と、メルカリで担当している仕事について教えてください。</strong></p>
<p><strong>Abhinav：</strong>メルカリには5年半前に、新卒として入社しました。最初の2年は商品画像検索のMLチームで働いた後、TnS（Trust &amp; Safety）チームに異動。その頃、PMと一緒にデータ・サイエンス・バックエンドチームの立ち上げを経て、EM（Engineering Manager)）を務めました。現在は、Ads Engineeringという新しいチームに所属しています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/a0e7a8ae-mercari-06706-1024x682.jpg" alt="" /></p>
<p><strong>meatboy : </strong>MLエンジニアとしてメルカリに入社し、もうすぐ3年になります。入社以来ずっと、出品のプロジェクトに携わっています。およそ1年半の間、私はチームで働き、検索エンジンを用い、精進と買い手のマッチングを容易にするための取り組みを行ってきました。</p>
<p><strong>ysk24ok：</strong>私は2021年にメルペイに入社し、2022年にメルカリへ異動。現在はMLプラットフォームのチームに所属し、MLエンジニアの業務を効率化するためのインフラやソリューションを提供しています。</p>
<p><strong>ー「Mercari AI/ML Guild（以下、ML Guild）」の設立について詳しく教えてください。</strong></p>
<p><strong>Abhinav：</strong>ML Guildは2022年11月に始まりました。私がデータサイエンスチームのEMを務めていた時に、MLチームのEMである梅澤さん（@umechan）に相談し、ML Guildを実験的に開始しました。<br />
新しい組織構造に組織体制が変化し、以前はMLチームは1つのチームでしたが、キャンプ体制（Camp System）という、4～5つの目的に応じた組織が編成されました。MLエンジニアは各キャンプに所属し、現在に至るまで、組織的には分散した状況が続いています。<br />
以前はMLメンバー間でも多くのコミュニケーションが生まれていたのですが、キャンプ体制後に入社したメンバーも増え、チームを越えたコミュニケーションが生まれづらい状況になっていきました。事前アンケートを実施したところ「現在のMLチーム全体のコミュニケーション構造に満足していない」というメンバーが8割もいたのです。そこで、『Mercari AI/ML Guild』というコンセプトを立ち上げ、チーム間のコミュニティ・トラストを作ることにしました。まずは、各チームと、そのメンバーを知ることを目的としました。<br />
また、ML Guildはナレッジ共有の促進も目的としています。MLのプロジェクトは、開始から実行までの時間が非常に長いため、フィードバックを共有し、プロジェクトで起こっていることを共有し、ベストプラクティスを共有するためのプラットフォームが必要なことは明らかでした。新しく入ったMLのメンバーは、どこで、誰に、何を聞けばいいのか、不明瞭な状態だったんですよね。</p>
<p><strong>meatboy :</strong> ML Guild以前にも、ディスカッションのためのグループは複数存在していましたが、それらも分散しており、1つの大きなグループではありませんでした。MLの学術研究や、検索等、特定のトピックに関するものが多く、包括的な取り組みに関して議論ができる場はありませんでした。ML Guildでは、トピックを特定のものに絞ることはせず、機械学習の様々な分野の知見を共有し、最新の情報を得る機会を提供しています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/d9948a63-mercari-06685-1024x682.jpg" alt="" /></p>
<p><strong>ーML Guildは、どうやって運営しているのですか？</strong></p>
<p><strong>Abhinav：</strong>ML Guildはここにいる3名をはじめ、複数のメンバーで共同運営されていますが、実は、貢献したい人がボランティアとして参加してくれています。現在の構成は、各キャンプを代表して数名のリーダーがおり、そのリーダーが組織としての目標設定および、ML Guildのエフォートの方針を決定しています。</p>
<p><strong>meatboy :</strong> 現時点では各運営メンバーの責任内容は同一です。つまり、全員がメインオーガナイザーです。例えば、次のイベントのスケジューリングは誰がやるかを持ち回りで決めています。例えば、チームビルディングや雑談のためのイベントなどのイベントを開催することもあります。</p>
<p><strong>Abhinav：</strong>基本的にはQごとに3つの活動を交互に行っています。Qの1回目は各チームのOKR共有、2回目のセッションでは、プロジェクトやベストプラクティスの共有・アナウンスメント、そして3回目は、チームビルディングのための企画を行っています。また @meatboy が3ヶ月ごとにチームビルディングのパーティーを企画し、オフラインで集まるような機会も設けています。</p>
<p><strong>ysk24ok：</strong>例えば、プラットフォームチームが何か新しいソリューションを開発してそれを各チームに使ってもらうためには、各チームの既存の仕組みからマイグレーションしてもらう必要がある際など、アナウンスの場としても機能しています。</p>
<p><strong>ーML Guildを設立したこの数年間で、組織上の課題は解決されたのでしょうか？　</strong></p>
<p><strong>meatboy：</strong>いくつかの問題に関しては明らかに改善してきています。もちろん、もっと緊密な協力が必要な場面はありますし、まだまだ改善したいポイントもありますが、当初私たちが抱いていた課題に関しては、ML Guildは本当に役に立ちました。定期的に他のチームでも起こっていることを知ることができるのは、とてもいいことだと思います。<br />
例えば、個人的な体験として、ML Guildを通じてあるチームがすでに同様のプロジェクトに取り組んでいることを知り、彼らに話を聞きに行って、モデルや知識などを交換することができました。このように、ML Guildを通じてシナジーが生まれた経験が何度もありました。</p>
<p><strong>ーMLエンジニアとして、ML Guildの取り組みを通じて変化があれば教えてください。</strong></p>
<p><strong>meatboy :</strong> 私は社内のプラットフォームチームとも定期的にコミュニケーションを取り合っていますが、多くのメンバーにとって、そうした機会は少ないです。しかし、我々はしばしば新しいサービスを開発するため、既存のシステムを適応させる必要があります。あなたがすでに同様の改修を行ったことを知っている場合や、誰に尋ねるべきか知っている場合、これはとても役に立ちます。私はそれがメルカリのMLメンバーの多くを助けたと思います。<br />
そして、エンジニア同士の直接の交流も盛んです。私は、入社当時出品のプロジェクトを担当していましたが、その後サーチ部門に移りました。出品のサイズについて疑問を持つことが多かったのですが、ML Guild後は、過去に担当したことがあるエンジニアと1on1で知識を共有することができ、とても役に立ちました。</p>
<p><strong>Abhinav：</strong>この1年間、1回のセッションに平均25人以上のMLエンジニアが参加しています。また、一度セッションに参加した人は、次のセッションにも参加しています。一般的に、このような大規模なセッションを開催する場合、継続率は基本的に低くなります。個人的な意見ですが、このように定着率を維持できている要因として、ML Guildの頻度が挙げられます。現在は月に1回という頻度のため、忙しいメンバーもリラックスして参加することができているのかなと感じます。<br />
2つ目は、ML Guildの開催をスキップせず、毎月開催を継続して行っています。不定期ではないことで、毎月行われているイベントだと認識してもらえる。そして、最も重要なことですが、ML GuildはEMではなく、現場のMLエンジニアが主導しています。<br />
私がメルカリに入社した当時、同じようなコンセプトで、情報共有のための会議がありましたが、そのほとんどはEMが主導していました。しかし、ML Guildでは、エンジニアは自分の担当したプロジェクトと、そこで得られたインサイトを共有する機会がある。また、そうした発表を通じて、多くの人と話すことができるので、コラボレーションが生まれていると思います。</p>
<p><strong>ysk24ok :</strong> プラットフォーム・エンジニアとして、私たちは時々、将来のコラボレーションについて、ディスカッションのための場を設けています。そうした際に、もし私が誰とも面識がないチームとの間で1から会議体を設定するのはハードルがあると思うのですが、ML Guildのおかげで、各チームのメンバーを知る機会が持てていて、助かっています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/f7f7511c-mercari-06600-1024x682.jpg" alt="" /></p>
<p><strong>ーML Guildとして、今後のビジョンがあれば教えてください。</strong></p>
<p><strong>Abhinav：</strong>短期的な目標をいくつか挙げますと、私たちのペースを維持し、継続参加を維持し、この取り組みを継続していきたいと思っています。中長期的な目標は、ML Guildの場から、新しいビジネス・プロジェクトを生み出すことです。</p>
<p><strong>meatboy ：</strong>ML Guildから、チーム横断的なプロジェクトを組成し、よりビジネスにインパクトを与えたり、外部のコンペティションに参加したりすることができると考えています。将来的にはプラットフォームとなることを目指せるかもしれない。</p>
<p><strong>ysk24ok :</strong> そうですね。これは、短期的な目標か長期的な目標かはわかりませんが、チームビルディングのセッションでは、特定のメンバーだけが参加しましたが、参加しないメンバーもいました。現在のML Guildも同様で、出席はしているが、自分たちのプロジェクトについて発表しないメンバーもいます。今後どのように変化していくか見て行きたいです。</p>
<p><strong>ーML Guildを運営する上で、当初は苦労された点はありましたか？</strong></p>
<p><strong>Abhinav：</strong>私は、最初からこの取り組みを支えてくれた@meatboy と @ysk24ok のサポートに本当に感謝しています。特に最初に苦労したのは信頼関係でした。<br />
なぜこのような新しいセッションを行うのか？なぜ必要なのか？という点が浸透しておらず、みんな自分の仕事に忙殺されているため、なかなか参加してもらえませんでした。そのため、まず各MLチームのEMに声をかけて、ML Guildの提案に対するフィードバックをもらいました。こうして少しずつ信頼関係を築くことで、EMから各チームのメンバーにも参加を呼びかけてもらえるようになりました。</p>
<p><strong>meatboy ：</strong> 当初は、メンバーに参加してもらうためにたくさんの告知をしなければならないことも多かったですね。そうした地道な取り組みを経て、参加状況も改善してきました。<br />
ML Guildの運営を通じて私たちが得た学びのひとつは、チームビルディングを目的としたイベントと、有益な知見共有のイベントの適切なバランスを保つことです。<br />
そして、「このミーティングの目的は何か？」と、問い続ける必要があると思います。今後もみんなの時間を正当化できるよう、有益なものにし続ける必要があると感じています。</p>
<p><strong>Adbinav： </strong>今後、さらに新しいメンバーにも入ってほしいですね。ML Guildは自主的に運営されているため、ローテーションで行いつつも、フレッシュな視点でこのスキルを維持できるように、新しいメンバーを迎えたいと考えています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/9d3a7180-screenshot-2024-06-28-at-23.43.38.png" alt="" /></p>


メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

<h2>概要</h2>
<p>この度、メルカリAIチームの元インターン生である須賀 幹太（早稲田大学先進理工学研究科）およびメルカリAIチームのエンジニアである宮本 琳太郎・桂 尚輝・梅澤 慶介が、論文「過去クエリを介した関連文書検索システム」について、言語処理学会第30回年次大会（NLP2024）にてポスター発表を行いました。</p>
<p>言語処理学会は、自然言語処理（NLP）の研究者・技術者が集う国内最大級の学会で、 第30回にあたるNLP2024は、2024年3月11日から3月15日まで兵庫県神戸市にて開催されました。</p>
<h2>研究の背景</h2>
<p>メルカリでは、お客さまのお問い合わせ対応や、不正検知のためのツールを内製で開発しています。特に、お困りごとを抱えたお客さまを素早く解決に導くことは、お客さま満足度の向上の観点でも非常に重要です。</p>
<p>もちろんお客さまによってお困りの状況や背景は異なりますが、過去にいただいたお問い合わせの中には類似した内容もあり、これまでに蓄積された情報を有効活用することで、解決時間の削減を目指し、今回の手法を提案しました。</p>
<h2>研究概要</h2>
<p>メルカリではサービス内にお問い合わせフォームを設けており、お客さまにお困りごとがあった際に問い合わせをお送りいただけるようになっています。メルカリでは多数のお問い合わせをいただいており、お客さまの困りごとに素早く対応するためにも、解決時間の効率化が求められています。</p>
<p>お問い合わせの多くは、過去の別のお問い合わせに類似しており、対応方法を検討するべく、過去の類似したお問い合わせを参照することは業務効率改善の糸口となります。</p>
<p>しかしながら、サービス運営上、対応マニュアルやシステムの変更は一定発生するため、過去のお問い合わせを参照するだけでは不十分な状況もあります。したがって、本研究では、過去のお問い合わせを用い、現行のヘルプガイドを検索する手法を提案し、実験では複数の条件を変更した場合の結果の比較を含めて報告しました。</p>
<h2>発表内容のポイント</h2>
<p>本論文では、お客さまがメルカリでお困りごとがあった際に、カスタマーサポートにお送りいただくお問い合わせの文章と、過去の会話履歴データを用い、お困りの状況に対する解決策を既存のヘルプガイドと関連付けて検索する手法を提案します。</p>
<p>今回の提案手法では、お客さまのお問い合わせを、文書埋め込みモデルを用いてベクトル化しました。同様にベクトル化された過去のお問い合わせ履歴から、高い類似度のお問い合わせを収集し、そのお問い合わせの返信文と高い類似度を示すヘルプガイドを多数決でリンクさせることで、高い検索精度を達成しました。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/05/cf2bad72-image1-724x1024.png" alt="" /></p>
<p><center>今回発表を行ったポスター<br />
</center></p>
<h2>発表者のコメント</h2>
<h3>須賀 幹太 | メルカリ AIチーム 元インターン</h3>
<p>今回の取り組みに関して、学会という場で意見を直接交換することによって新たな改善点が見つかり、成果を対外的に発表していくことの重要性を実感しました。</p>
<p>また、様々な発表を見る中でAI分野の技術的進歩の速さを痛感し、よりキャッチアップに努めなければいけないと感じました。インターンでありながらこのような発表機会をいただき、とても貴重な経験となりました。ありがとうございました。</p>
<h3>桂 尚輝 | メルカリ ML Engineer</h3>
<p>今年の言語処理学会の年次大会では、ポスター発表に加え、メルカリのスポンサーブースを設け、国内の学生や研究者、エンジニアと議論を行うことができました。</p>
<p>企業の研究者やエンジニアからは、お問い合わせに関する言語モデルの利用に関して、直面している課題が共通の認識であることが多いと感じました。本会議では、有意義なインプットと議論の場となりました。議論を通じて得られた知見を、メルカリの事業に活かしていきます。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/05/af108a4c-image2-1024x576.jpg" alt="" /></p>
<p><center><br />
現地でのメンバーの様子<br />
</center></p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/05/9581bddd-gixoxqxbqaanecv-1-1024x576.jpeg" alt="" /></p>
<p><center><br />
スポンサーブースの様子<br />
</center></p>
<h2>CRE（Customer Reliability Engineering） ML Teamについて</h2>
<p>メルカリのカスタマーサポート領域において、機械学習を用いた内製ツールの開発・業務効率化を行っています。</p>


メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

<p>こんにちは、メルカリの生成AIチームで ML Engineer をしている <a href="https://twitter.com/MLBear2">ML_Bear</a> です。</p>
<p>以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。</p>
<p>ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。</p>
<p>本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについて説明します。</p>
<h2>課題</h2>
<p>まずは今回のプロジェクトの背景と技術的な課題を簡単に説明します。</p>
<p>メルカリは2024年にカテゴリリニューアルを行い、階層構造を見直すとともに商品カテゴリの数を大幅に増やしました。しかしカテゴリ数やその階層構造がかわるということは、それに紐づく商品のデータも変更する必要があります。</p>
<p>通常であれば商品のカテゴリ分類は機械学習モデルやルールベースモデルを利用します。しかし今回のケースでは過去の商品に対する「新しいカテゴリ階層での正解カテゴリ」がわからないため、機械学習を使用した分類器を作成することができませんでした。また、カテゴリ数が非常に多いため、ルールベースモデルの構築も困難でした。そこで、この課題に対してLLMを活用できないかというアイディアが出てきました。</p>
<h2>解決策: LLMとkNNによる2ステージ構成の予測アルゴリズム</h2>
<p>結論としては以下のような2ステージ構成のアルゴリズムを組むことで今回の課題に対応しました。</p>
<ol>
<li>ChatGPT 3.5 turbo (OpenAI API[2])で過去商品の一部の正解カテゴリを予測する</li>
<li>1.を学習データとして過去商品のカテゴリ予測モデルを作成</li>
</ol>
<p>全てをChatGPTで予測できれば楽だったのですが、メルカリの過去商品は30億商品を超えるため[3]、全てをChatGPTで予測するのは処理時間的にもAPIコスト的にも不可能でした。そのため、紆余曲折を経てこのような2ステージのモデル構成としました。(すべての商品をChatGPT 3.5 turboで分類するとコスト見積もりは約100万ドル、処理時間見積もりは1.9年という非現実的な数字でした)</p>
<p>以下にモデルの内容を簡単に説明します。詳細については「工夫した点」で述べるため、一旦はシンプルな解説に留めます。</p>
<h3>1. ChatGPT 3.5 turbo (OpenAI API)で過去商品の一部の正解カテゴリを予測する</h3>
<p>まず、過去に出品された商品を数百万点サンプリングし、ChatGPT 3.5 turboにその商品の「新しいカテゴリ構成での正しいカテゴリ」を予測させました。 具体的には、各商品の商品名や商品説明文、元のカテゴリ名をもとに新しいカテゴリの候補を10個程度作成し、その候補の中から正解を答えさせました。</p>
<h3>2. 1.を学習データとして過去商品のカテゴリ予測モデルを作成</h3>
<p>次に、1. で作ったデータセットを正解データとして、シンプルな kNN モデル[4] を作成しました。</p>
<p>具体的には、まず、1.で正解カテゴリを予測した商品のEmbeddingと正解カテゴリをベクトルデータベースに保存しておきます。その後、予測したい商品のEmbeddingを元に、ベクトルデータベースから類似商品をX個抽出し、そのX個の商品の最頻カテゴリを正解カテゴリとしました。</p>
<p>Embeddingは各商品の商品名、商品説明文、メタデータ、元のカテゴリ名などを連結した文字列をもとに計算しました。より複雑な機械学習モデルも検討しましたが、シンプルなモデルで及第点の性能が出たためシンプルなモデルを採用しました。</p>
<h2>工夫した点</h2>
<p>さて、ここからは今回のプロジェクトで工夫した点をご紹介します。以下のような点を工夫したので、ひとつづつ説明します。</p>
<ul>
<li>OSSのEmbeddingモデルの活用</li>
<li>Sentence Transformers ライブラリによるMulti-GPUの活用</li>
<li>Voyager Vector DBによるCPU上での高速な近傍検索</li>
<li>max_tokensとCoTの活用によるLLM予測の高速化</li>
<li>Numba・cuDFの活用</li>
</ul>
<h3>1. OSSのEmbeddingモデルの活用</h3>
<p>第2ステージのモデル (kNN) では商品のEmbeddingの計算が必要でした。自前でニューラルネットワークを組むことも可能でしたが、OpenAI Embeddings API (<code>text-embedding-ada-002</code>) [5]で十分な精度が出ることが確認できたので、当初はこのAPIを利用する方針としていました。</p>
<p>しかし、試算してみたところ、すべての商品にOpenAI Embeddings APIを利用するのは処理時間的にもコスト的にも少し厳しいということがすぐにわかりました。</p>
<p>そんな中、MTEB[6]やJapaneseEmbeddingEval[7]を眺めていると英語以外の言語でもOpenAI Embeddings APIに匹敵するOSSのモデルが多数あることに気づきました。自分たちで評価用データセットを作って試してみたところ、OpenAI Embeddings API同等の精度が出たためOSSのモデルを利用することにしました。</p>
<p>私たちがこのプロジェクトを行なっていた2023年10月時点のデータでは、以下のモデルが高い精度を示しており、最終的には計算コストと精度のバランスを鑑み intfloat/multilingual-e5-base を利用しました。(MTEBのランキングは常時入れ替わっているため、2024年4月現在はもっと強いモデルがあると思います)</p>
<ul>
<li>intfloat/multilingual-e5-large [8]</li>
<li>intfloat/multilingual-e5-base [9]</li>
<li>intfloat/multilingual-e5-small [10]</li>
<li>cl-nagoya/sup-simcse-ja-large [11]</li>
</ul>
<p>このように、OSSでも非常に高性能なEmbeddingモデルが存在しているため、Embeddingを利用するプロジェクトを行う場合は、シンプルな問題を作成して、OSSでも十分な性能を持つモデルがあるかどうかを確認してみることをお勧めします。</p>
<h3>2. Sentence Transformers ライブラリによるMulti-GPUの活用</h3>
<p>OSSモデルを利用することで OpenAI Embeddings APIに比べて飛躍的に処理速度が上がったものの、数十億商品を処理するにはもう少し改善が必要でした。</p>
<p>A100などの強力なGPUを利用できれば話が早かったのですが、世界的なGPU枯渇の影響を受けてか、プロジェクト実施時の2023年11-12月時点では強いGPUを掴むことはなかなか困難でした。(現在もあまり状況は変わっていないかと思います)</p>
<p>そのため、V100やL4などのGPUを複数台並列で利用して対応することにしました。幸いなことに、Sentence-Transformers[12]ライブラリを利用すると以下のようなシンプルなコードで複数台のGPUを簡単に並列化できたため、非常に助かりました。</p>
<pre><code class="language-python">from sentence_transformers import SentenceTransformer

def embed_multi_process(sentences):
    if &#039;intfloat&#039; in self.model_name:
        sentences = [&quot;query: &quot; + b for b in sentences]
    model = SentenceTransformer(model_name)
    pool = model.start_multi_process_pool()
    embeddings = model.encode_multi_process(sentences, pool)
    model.stop_multi_process_pool(pool)</code></pre>
<p>強力なGPUを大量に使えれば理想的ですが、それが難しい状況でも工夫次第で処理を高速化することができます。Sentence-Transformersのようなライブラリを活用して、限られたリソースを最大限に活用することが重要だと感じました。</p>
<h3>3. Voyager Vector DBによるCPU上での高速な近傍検索</h3>
<p>kNNを利用する際にはベクトルデータベースが必要でした。サンプリングしたとはいえ数百万商品の学習データになったため、GPUのメモリに載らない状況でした。A100 80GBなどの大きなメモリを持つGPUを使えば載ったかもしれませんが、前述の通り強力なGPUは確保が困難だったので試すことすらできませんでした。</p>
<p>そんな折、Spotify社製のVoyager[13]がCPUでも高速に動作すると聞いたので試してみたところ、実用に足る速度を簡単に実現できました。Embedding計算に比べると近傍探索の時間はそれほど影響が大きくなかったため厳密に他のプロダクトと比較していませんが、十分な速度を出すことができていました。</p>
<p>Voyagerにはメタデータ管理機能がなかったので自分たちでクライアントを書く必要がありましたが、それでも全体的には良い選択だったと思っています。</p>
<h3>4. max_tokensとCoTの活用によるLLM予測の高速化</h3>
<p>今回のプロジェクトでは ChatGPT 4 はコスト面から利用できず、ChatGPT 3.5 turboを使わざるを得ませんでした。ChatGPT 3.5 turboはコストの割に賢いとは思いますが、精度には少し不安がありました。そのため、Chain of Thoughts[14]を利用して説明を生成させることで精度向上を図りました。</p>
<p>皆さまもご存知かと思いますが、ChatGPTに説明を行わせるとずっと喋り続けることもあり、処理時間が問題となりました。そこで、<code>max_tokens</code>パラメータを利用して長い話を途中で打ち切ることで処理時間の短縮に努めました。</p>
<p>回答を打ち切ると(Function Callingの) JSONが壊れるので、LangChain[15]のllm.stream()を利用したり、もしくは自分でJSONを復元してパースする必要があり少し手間がかかります。厳密な比較はしていないものの、この手法によって処理時間短縮と精度向上の良いバランスを取れたと感じています。</p>
<p>以下がLangChainの<code>llm.stream()</code>を利用した場合のサンプルコードです。</p>
<pre><code class="language-python">from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class ItemCategory(BaseModel):
    item_category_id: int = Field(None, description=&quot;商品説明から予測したカテゴリID&quot;)
    reason: Optional[str] = Field(None, description=&quot;このカテゴリIDを選択した理由を詳しく説明してください&quot;)

system_prompt = &quot;&quot;&quot;
与えられる商品情報を元に、商品のカテゴリを予測してください。
商品のカテゴリは候補から選んでください。選んだ理由も説明してください。
&quot;&quot;&quot;
item_info = &quot; (商品データと新カテゴリ候補などを入れる) &quot;

llm = ChatOpenAI(
    model_name=&quot;gpt-3.5-turbo&quot;,
    max_tokens=25,
)
structured_llm = llm.with_structured_output(ItemCategory)
prompt = ChatPromptTemplate.from_messages(
    [
        (&quot;system&quot;, system_prompt),
        (&quot;human&quot;, &quot;{item_info}&quot;),
    ]
)
chain = prompt | structured_llm

# streamingの最後の要素だけ取り出す
# - 通常、max_tokensで回答を打ち切るとjsonが壊れてパースの処理が必要
# - langchainのstreamで実行すると常にjsonを完成させてくれるため、
#   max_tokensで回答を打ち切ってもjsonをパースする必要がない
for res in chain.stream({&quot;item_info&quot;: item_info}):
    pass

print(res.json(ensure_ascii=False))  # res: ItemCategory
# {&quot;item_category_id&quot;: 1, &quot;reason&quot;: &quot;商品名に「ぬいぐるみ」が含まれ&quot;}</code></pre>
<h3>5. Numba・cuDFの活用</h3>
<p>数十億商品を処理する際は些細な処理でも処理速度が気になるため、可能な限りすべての処理をcuDF[16]およびNumba[17]で高速化しました。</p>
<p>正直なところ Numba を書くのは苦手だったのですが、Pythonの素のコードをChatGPT 4に見せると書き直してくれるため、ほとんど自分で書く必要がなくコーディング工数を大幅に削減することができました。</p>
<h2>まとめ</h2>
<p>ChatGPTは会話形式で利用されることが多く注目を集めていますが、その高い思考能力を活用することで、これまで面倒だったり不可能であったタスクを簡単に解決できるようになります。私たちのプロジェクトでは、膨大な商品データを新しいカテゴリに短期間で分類し直すという面倒な課題を、ChatGPTを活用することで解決することができました。</p>
<p>また、OSSのEmbeddingモデルやマルチGPUの活用、高速な近傍検索が可能なベクトルデータベースの採用、ChatGPTでの予測の高速化、Numbaを用いた処理の高速化など、様々な工夫を行うことで、限られた時間とリソースの中でも最大限の成果を出すことができました。</p>
<p>今回の事例が、ChatGPTをはじめとする大規模言語モデルの可能性の一端を示し、皆様のプロジェクトの参考になれば幸いです。ぜひ、様々な場面でLLMを活用し、これまでは難しかった課題にチャレンジしてみてください。</p>
<h3>Refs</h3>
<ol>
<li><a href="https://engineering.mercari.com/blog/entry/20230612-cf-similar-item/">協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み</a></li>
<li><a href="https://platform.openai.com/docs/guides/text-generation">OpenAI API</a></li>
<li><a href="https://about.mercari.com/press/news/articles/20221128_threebillion/">フリマアプリ「メルカリ」累計出品数が30億品を突破</a></li>
<li><a href="https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm">k-nearest neighbors algorithm</a></li>
<li><a href="https://platform.openai.com/docs/guides/embeddings">OpenAI Embeddings API</a></li>
<li><a href="https://huggingface.co/spaces/mteb/leaderboard">Massive Text Embedding Benchmark (MTEB) Leaderboard</a></li>
<li><a href="https://github.com/oshizo/JapaneseEmbeddingEval">JapaneseEmbeddingEval</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-large">intfloat/multilingual-e5-large</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-base">intfloat/multilingual-e5-base</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-small">intfloat/multilingual-e5-small</a></li>
<li><a href="https://huggingface.co/cl-nagoya/sup-simcse-ja-large">cl-nagoya/sup-simcse-ja-large</a></li>
<li><a href="https://www.sbert.net/">Sentence-Transformers</a></li>
<li><a href="https://github.com/spotify/voyager">Voyager</a></li>
<li><a href="https://arxiv.org/abs/2201.11903">Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al. 2022)</a></li>
<li><a href="https://github.com/langchain-ai/langchain">LangChain</a></li>
<li><a href="https://github.com/rapidsai/cudf">rapidsai/cudf</a></li>
<li><a href="https://numba.pydata.org/">Numba: A High Performance Python Compiler</a></li>
</ol>


LLMを活用した大規模商品カテゴリ分類への取り組み

<h2>概要</h2>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaが、2024年4月8日(月)〜10日(水)に、ベトナム・ハノイで開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>にて、発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 OSSであることに重きを置いており、テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Unleashing the Potential of AI Through Search Ranking: How Mercari Uses Data &amp; Science to Drive Marketplace Growth（検索ランキングでAIの可能性を解放する：メルカリがマーケットプレイスの成長を促進するデータサイエンスの活用法）』</li>
<li>発表時間：現地時間：2024年4月9日（火）11時00分 〜 11時35分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/8985">https://eventyay.com/e/55d2a466/session/8985</a></li>
</ul>
<p>メルカリMLチームは、昨年シンガポールにて開催されたFOSSASIA Summit 2023にも参加し、メルカリに機械学習オペレーション（MLOps）の実装について発表しました。今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長を促すMLソリューションについて掘り下げます。</p>
<h2>研究の背景</h2>
<p>競争の激しい現在のEコマース市場において、効果的な検索ランキングシステムは必要不可欠なものとなっています。日本最大のC2Cマーケットプレイスであるメルカリでは、数百万人のお客さまに、最高の体験を提供すべく、マーケットプレイスでの取引や、商品との出会いの最適化・エンゲージメント促進のために、検索へのAI活用を行っています。</p>
<p>本発表は、メルカリの検索ランキングシステムの構築・改良の取り組みについて紹介します。データサイエンティスト、機械学習エンジニア、そしてeコマースの検索ランキングの開発に興味のある方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長促進に効率的なMLソリューションの開発に必要な主要ポイントをデータセットの構築、モデルの追跡とモニタリング、モデルの構築、継続的な反復、の4点を取り上げ解説します。 </p>
<h2>概要</h2>
<ul>
<li>データセットの構築：問題の明確化・理解は、解決策を決定する上で非常に重要なことです。常に進化するeコマース検索の現場では、使用される学習データを常に革新し、適応させ、洗練させることが重要です。ChingisとTeoは、ユーザーの行動、アイテムの属性、市場のダイナミクスを組み込んだ、豊富で多様なデータセットの構築方法のデモを行います。</li>
<li>モデルの追跡とモニタリング：私たちがどのようにMLランキング・モデルのトラッキングとモニタリングに取り組んでいるのか、ロバストな評価のために開発した主要なカスタム指標も含めてご紹介します。</li>
<li>モデルの構築：問題を明確化し、学習の進行状況を監視するプロセスを設定した後、私たちのモデル構築プロセスについて技術的な観点で掘り下げます。ランキング学習とは何か、また最適なパフォーマンスを実現するための私たちの目標を探ります。</li>
<li>過去データからバイアス取捨：最後に、既存の問題を認識することは、継続的な反復改善への第一歩となります。ChingisとTeoは、反実仮想機械学習（Counterfactual Machine Learning）を通じたランキング・モデルにおける潜在的なバイアスにどのように対処するか、解説説明します。また、バイアスの偏りが、学習プロセスにどのような影響を与えるか、どのような要因が特定のユーザー行動を引き起こす可能性があるかを紹介します。</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

<h2>概要</h2>
<p>メルカリMLチームのエンジニア・Lirong ZhangとMiao Caoが、2024年4月8日(月)〜10日(水)、ベトナム・ハノイにて開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>で発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリMLチームのエンジニア・Lirong ZhangとMiao Caoによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Opportunities to Address Complex Challenges in E-Commerce Search Through LLMs（eコマース検索における複雑な課題にLLMで取り組む）』</li>
<li>発表時間：2024年4月9日（火）14時45分 〜 15時10分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/9015">https://eventyay.com/e/55d2a466/session/9015</a></li>
</ul>
<h2>研究の背景</h2>
<p>eコマースの検索メカニズムは、包括的な類義語辞書がないことや、人間がアノテーションを行ったデータセットの希少性・主観性の課題など、複雑な問題にしばしば直面します。</p>
<p>こうした問題に取り組むため、メルカリの検索チームは、検索領域におけるさまざまなLarge Language Model（LLM）のアプローチを戦略的に採用してきました。</p>
<h2>研究概要</h2>
<p>本プレゼンテーションは、eコマースの検索におけるLLMベースの機能に関する調査から得られたインサイトの発表を目的としています。eコマースの検索における複雑な問題を解決するために、LLMの活用戦略・成功・そしてそのプロセスで得た学びに焦点を当て、メルカリでのこれまでの取り組みについて掘り下げます。<br />
データサイエンティスト・MLエンジニア・eコマース検索の文脈における効果的なLLMソリューションの展開の可能性に興味を持つ方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>本プレゼンテーションでは、LLMを活用して検索システムを大幅に改善した、メルカリでの最新の試みに関して、下記の3つの手法の概説を行います。</p>
<ul>
<li>
<p>オフライン評価データセットの構築： 開発の生産性を大幅に向上させるべく設計されたオフライン評価システムの実装のデモンストレーションを行います。このシステムにより、検索アルゴリズムのパフォーマンスをより合理的かつ、効率的に評価することができ、さらにアルゴリズムの改善・最適化を行うことができます。</p>
</li>
<li>
<p>類義語の生成：LLMにより、同義語辞書を強化し、様々な言語表現や地域の方言に対応する、より包括的な辞書作成のメカニズムを解明します。LLMのプラットフォームに掲載されている膨大な商品とユーザーのクエリ理解と、関連付けのために非常に重要な要素となります。</p>
</li>
<li>
<p>画質評価： 画質モデル開発のための、画像の評価・分類におけるLLM応用について説明します。本アプローチは、検索結果の品質を向上させ、より満足度の高いユーザー体験を提供します。</p>
</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

<h2>■概要</h2>
<p>この度、データサイエンスチームのエンジニア・Deddy Jobsonによる研究「Using Recommendations to balance demand and supply in two-sided marketplaces」が、人口知能分野の国際学会「AAAI 2024（Association for the Advancement of Artificial Intelligence）」内「Recommendation Ecosystems Workshop（EcoSys2024）」の、ポスター発表に採択されたことをお知らせいたします。</p>
<p>AAAI 2024（The Conference on Information and Knowledge Management）は、人工知能技術の分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催38回目である今年のAAAIは、カナダ・バンクーバーにて、2024年2月20日から27日まで開催されます。</p>
<p>ポスター発表の日時は、下記のスケジュールを予定しています。</p>
<ul>
<li>2024年2月26日（月）15時00分 〜 16時00分（現地時間）</li>
</ul>
<h2>■発表内容のポイント</h2>
<p>*本研究は<a href="https://openreview.net/forum?id=ljtKZdRGu3">こちらのリンク</a>から全文ご覧いただけます</p>
<ul>
<li>本研究では、買い手・売り手から成る、CtoCマーケットプレイスのような2面的な市場において、需給のバランスを取るための推薦システムの利用というアイデアを提案しました</li>
<li>公開データセットを用いた実験を行い、買い手・または売り手側の指標改善のため、ビジネスの優先順位に応じて、推薦システムがどのように変更できるかを示しました</li>
</ul>
<h2>■研究の背景</h2>
<p>現在の推薦システムの多くは、消費者中心であり、その目的は、消費者の利益を向上させることにあります。これは消費者に対するコンテンツの過剰供給の対処にも役立ちます。</p>
<p>本研究では、出品アイテムを起点とした推薦のアイデアを紹介します。このアイディアは、CtoCマーケットプレイスのような両面的な市場で発生しうる、過剰需要にも対応します。私たちは今回、公開データセットでの実験を行い、ビジネス要件に応じて、売り手・買い手の購買体験を優先しながら、レコメンデーションが活用できることを示しました。</p>
<h2>■研究概要</h2>
<ul>
<li>推薦システムを用い、両面的な市場における需要と供給のバランスを取る手助けを行います</li>
<li>私たちは、出品者・購入者のどちらの支援を行うのか、その時々でレコメンデーションの性質を変化できるレバーを構築し、ビジネス上の目的に応じて、出品者・購入者にターゲットを合わせたレコメンデーションを行います</li>
<li>我々のアプローチは、推薦システムの能力を拡張し、両面的な市場のすべての参加者の長期的な福祉を向上が期待できます</li>
</ul>
<h2>■DS Teamについて</h2>
<p>メルカリのデータサイエンスチームは、統計・機械学習・数理的最適化を通じて、メルカリのマーケティングキャンペーンやサービスの効率向上に取り組んでいます。技術的な問題を解決するべく、文献で使われている最先端の手法を積極的に学び、取り入れ、その過程で積極的な論文発表を行っています。</p>


メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces」がAAAI2024 EcoSys Workshopに採択されました

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

<p>メルカリは、<a href="https://about.mercari.com/press/news/articles/20230501_generativeai/">2023年5月に生成AI/LLMの専任チーム設立を発表</a>。このチームを立ち上げ、主導するのは、ソウゾウ代表取締役CEOとしてメルカリShops事業を牽引してきた石川 佑樹（<a href="https://twitter.com/maze_rapid">@maze</a>）です。<br />
メルカリはこれまで、UI/UXのみならず、マーケティングやカスタマーサポートなど、幅広い領域でAIを活用してきました。今後、「メルカリのAI活用の1つの柱になる」と捉え、石川自らが経営会議にてチームの立ち上げを提案した生成AI/LLMチーム。この技術への思い、3ヶ月の取り組みの中で見えてきたもの、チームとしての中長期的な展望について聞きました。</p>
<h3>プロフィール</h3>
<p><strong>石川 佑樹 | 株式会社メルカリ 執行役員 VP of Generative AI / LLM<br />
</strong><br />
東京大学卒業後、2012年任天堂株式会社入社。2014年にモイ株式会社（ツイキャス）に入社し、各種開発や新規立ち上げに従事。2017年6月メルカリグループの株式会社ソウゾウ（旧）に入社。その後、株式会社メルカリへ異動を経て、2020年7月より株式会社メルペイ執行役員VP of Product。2021年1月から株式会社ソウゾウ代表取締役CEO。2022年7月から株式会社メルカリ執行役員VPを兼任。</p>
<h2>「メルカリとして絶対にこの領域に取り組むべき」だと感じた</h2>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/4a8052b6-maze_interview3-1024x683.jpg" alt="" /></p>
<p><center><br />
石川 佑樹 | 株式会社メルカリ 執行役員 VP of Generative AI / LLM<br />
</center></p>
<p><strong>ーー2023年5月にメルカリの生成AI/LLM専門チームが設立されました。専任チームを立ち上げた背景と、目的について教えてください。</strong></p>
<p><strong>石川：</strong>生成AI/LLMの専任チームについては5月に正式にリリースを出しましたが、2023年の2月から構想を進めていました。2022年の夏頃の<a href="https://stablediffusionweb.com/">StableDiffusion</a>や、2022年末の<a href="https://chat.openai.com/auth/login">ChatGPT</a>の登場を受け、個人的に注目していました。色々と試していくうちに、メルカリの事業や社内業務として活用できそうなアイディアがたくさん思い浮かび、経営会議で「メルカリとして絶対にこの領域に取り組むべき」と提案したことが専任チーム設立のきっかけです。今年の春の時点では、生成AI領域に関しては不確実性が高い状況だったので、まずは機動的に動ける少人数の専任チームを作りました。</p>
<p>生成AI/LLMチームのミッションは、「①生成AIの技術を用いて、新たな顧客体験を創り、事業インパクトを最大化させる」、そして「②全社の生産性を劇的に向上させる」という2点です。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/36b404ab-maze_interview1-1024x570.png" alt="" /></p>
<p><center><br />
『MS Build Japan2023』での発表資料より<br />
</center></p>
<p>最初期は、フルスタックかつ、過去にMLのプロジェクトに関わっていたエンジニアにジョインしてもらいました。現在はエンジニアや、デザイナー、BizOpsのメンバーによって構成されています。引き続きエンジニア採用も進めています。</p>
<h2>エンジニアの開発体験を向上する「GitHub Copilot」の導入</h2>
<p><strong>ーーAI/LLMチームの設立から数ヶ月が経ちました。これまでに取り組んだ具体的な施策について教えてください。<br />
</strong></p>
<p><strong>石川：</strong>まず、「全社の生産性を劇的に向上させる」というミッションに関連して、エンジニアの開発体験のための『<a href="https://github.com/features/copilot">GitHub Copilot</a>』を導入しました。GitHub CopilotはAIが最適なコードを提案してくれる、プログラミングをサポートするツールです。コメントからコードを生成したり、記載途中のコードから続きを補完してくれたりと、開発体験を向上する支援ツールとして活用されています。GitHub Copilotによる開発生産性に関して、導入によってタスクの完了速度が約2倍早くなった、という公式の見解もあったりします。今後、導入企業とそうでない企業では大きな差が生まれうると考え、多数のエンジニアを擁する会社として、まず導入したかったツールでした。生成AI/LLMチームが旗振りをし、Corporate Engineerチームが主導してくれ、6月には希望するエンジニアが使用できるようになりました。</p>
<p>導入時の懸念として、3つのリスクがあることを整理しました。1点目が著作権侵害やオープンソースラインセンスの違反を含む法的なリスク、2点目が法的リスクに連なったレピュテーションリスク、最後が社内のコードがGitHub Copilotを通じて情報漏洩するリスクです。</p>
<p>それぞれの観点で検証を行った結果、一定の制限を設けることで、使用に関しては問題ないという結論になったため、今はメルカリのエンジニアは誰でも使用できるようになりました。導入後の具体的な検証はこれからですが、シニアなエンジニアからは「かなり楽ができるようになった」という声を聞き、比較的エンジニア歴が短い人からは「悩んだ時の教科書のように使えている」とフィードバックを受けています。専業プログラマーでない人でも、それなりに綺麗なコードが書けるため、開発に携わる広いメンバーに対してメリットがあるツールだと感じています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/bf386527-maze_interview5-1024x683.jpg" alt="" /></p>
<h2>自然な会話を通じて商品を探せる、新しいお客さま体験</h2>
<p><strong>ーー2023年7月には、<a href="https://about.mercari.com/press/news/articles/20230724_chatgpt/">ChatGPTのプラグイン導入</a>も発表されていました。</strong></p>
<p><strong>石川：</strong>一般的にメルカリを含むECのサイトでは、お客さまがある程度欲しいものが頭にある状態でのキーワード検索や、検索履歴に基づくおすすめアイテム表示などが中心だと思います。</p>
<p>しかし、今回のプラグイン導入によって、ChatGPTとの対話によって商品を検索することが可能になりました。「初めてのキャンプに必要なものを教えて」「5歳の女の子が喜びそうなプレゼントは？」など、特定の商品を思いついていない状態でも、自然な会話を通じて商品を探せるため、これまでのお客さま体験とは異なる機能となっています。今後の検証結果によっては、メルカリアプリ本体への実装も考えています。</p>
<p>導入後、当初の想定よりも使われているな、というのが素直な感想です。現在、ChatGPTプラグインが使用できるのは有料版であるChatGPT Plusが使える方のみです。当該機能を使用しているユーザー層としては30〜40代の男性が多く、娘やパートナーへのギフトの相談、趣味の電化製品やカメラの絞り込みといった目的でよく利用されています。ガジェットや家電の複雑な機能に関して、自然な言語でアイテムを絞り込めるのはたしかにすごく便利ですよね。ChatGPTによるサジェストの結果、メルカリへの流入にも貢献しています。今後も引き続き、データを追っていきます。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/2a5fa68e-maze_interview2-1024x683.jpg" alt="" /></p>
<h2>生成AIのクリエイティブを、採用やマーケティングへ活用</h2>
<p><strong>ーーmazeさんのX（旧Twitter）にて、<a href="https://x.com/maze_rapid/status/1686525669642289153?s=20">生成AIを活用したチームの採用クリエイティブ</a>がアップされていました。クリエイティブへの活用に関する展望があれば教えてください<br />
</strong><br />
<img src="https://storage.googleapis.com/prd-ai-asset/2023/10/cb5c6c13-images_maze.png" alt="" /></p>
<p><strong>石川：</strong>まずはテストとして、生成AI/LLMチームの採用のためのクリエイティブを生成し、私のXアカウントで数日間ポストしていました。これらの画像は、生成AIで作ったクリエイティブに、デザイナーが背景に合わせた文字入れをしています。今は少しだけ人の手が介在している状況ですが、今後はテキストの指示だけでも思い通りのクリエイティブ生成ができるようになると思います。</p>
<p>今後の展望としては、キャンペーンや、広告のクリエイティブへの生成AIの活用を検討しています。</p>
<p>具体的には、以前評判のよかったメルカリの広告のデータを踏まえた広告クリエイティブを生成し、デジタル広告やOOH（屋外広告）で活用できないか、取り組みを進めています。<br />
現在（2023年10月3日時点）、渋谷駅の屋外広告にて、メルカリのハロウィン関連のCMを流しているのですが、こちらのプロモーション動画は実は生成AIによって作られたクリエイティブです。</p>
<p><center><br />
<iframe loading="lazy" width="560" height="315" src="https://www.youtube.com/embed/IWgwWYrhaMs?si=IvUJHo_QU7DOznVL" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe><br />
渋谷のスクランブル交差点にて放映中のメルカリのCM<br />
</center></p>
<p>また、トレーディングカードのクリエイティブ生成に使えないか？という取り組みも進めています。著作権上、実在するカードの画像は広告に使えないのですが、トレーディングカードとわかるクリエイティブをAIで生成し、広告などに使用できないか検討しています。リーガル回りの整理も並行して進めており、こちらも近日のリリースを目指しています。</p>
<h2>これからの半年は、成功と失敗を重ね、多くの挑戦をするフェーズ</h2>
<p><strong>ーー今後、生成AI/LLMチームとして、さらに挑戦していきたいことはありますか？<br />
</strong><br />
<strong>石川：</strong>これからの半年間は、生成AIを用いた体験でどのような体験がつくれるのか、どの程度のインパクトが出せるのか、あらゆる領域で試行錯誤していきます。</p>
<p>この半年においては「半分くらい失敗してもいいかな」くらいの気持ちで、なるべく広く・多くの取り組みに挑戦していくことが重要です。その結果、生成AI/LLMが上手くハマるところと、そうでないところが見えてくるのかなと。いくつかの施策をまとめ、評価レイヤー、プラットフォームレイヤー、そしてML Ops的な組織がどのように必要かどうか、見極めていく必要があると考えています。</p>
<p>自社サービスへの導入や、ビジネス上のインパクトを作ることはもちろん大事な指標ですが、私たちはメルカリ社内の技術理解を推進していくことも非常に大事なミッションだと捉えています。1年後の視点ですと、生成AI/LLMがメルカリの開発体験における、より中核技術として浸透していくべきです。UI/UXに関して出品・購入をなめらかにする観点などはもちろん、バックエンドのアルゴリズムまで含めて、生成AI/LLMが浸透している状態を目指しています。</p>
<p><strong>ーーAI/LLMチームの今後の組織体制についても、展望があれば教えてください。</strong></p>
<p><strong>石川：</strong>引き続き、専任チームで機動的な技術探索・プロダクト開発を進めていきますが、中長期的に、メルカリのあらゆるメンバーが生成AI/LLMを活用できている状態にするべく、活動を進めていければと考えています。</p>
<p>今後、メルカリ内で生成AIのモデル自体の開発を進めていくかどうかということも併せて検討しています。社内だけの力に限らず、広く社外との連携も見据えていけたらと考えています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/5596b7e9-maze_interview6-1024x683.jpg" alt="" /></p>
<h2>メルカリの魅力は、豊富なデータ量を活用しながらダイレクトなフィードバックを得られること</h2>
<p><strong>ーー生成AI/LLMの可能性を探索する場として、メルカリの魅力があれば教えていただけますか</strong></p>
<p><strong>石川：</strong>メルカリで生成AI/LLMに取り組む魅力は2つあります。1つは豊富なデータがある会社であること。AIプロダクトはデータ量がモノを言う側面がありますが、その点、メルカリを通じて蓄積された大量のデータを扱うことができます。もう1つは、作ったシステムをディストリビューションした結果、ダイレクトなフィードバックをたくさん得られること。この2つは、AIを使ったサービスを開発する上で強い魅力だと感じています。</p>
<p>生成AIは、お客さまに関連する部分でできることもたくさんありますし、社内の生産性向上に関しても、今後、働き方レベルで大きな変化が訪れると考えています。メルカリは現在2000人超のメンバーを擁し、おしなべて社員のITリテラシーが高く、さまざまな取り組みを実験できる環境です。生成AI/LLMを使った業務設計・組織設計などを社内で検討し、どんどんPoCを進めていけると考えています。</p>
<p>実は、「全社の生産性を劇的に向上させる」というテーマは、私個人のたっての希望でミッションに追加しました。社内では技術的な試行錯誤をしやすく、チャレンジをしやすい環境です。また、メンバー自身の働く環境が変わることで、さらに生成AI/LLMを身近に捉えることができ、技術浸透が進むと考えています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/d23a319e-maze_interview4-1024x683.jpg" alt="" /></p>
<h2>生成AI/LLMチームでは一緒に働くメンバーを募集中です！</h2>
<p>メルカリの生成AI/LLMチームで働くことの面白さや、挑戦機会の多さを感じていただけたら嬉しいです。チームの募集詳細はこちらをご覧ください。<br />
<a href="https://apply.workable.com/mercari/j/183899D2BA/">Software Engineer, Full Stack (LLM/GenAI) - Mercari</a></p>
<ul>
<li>Photo : Shun Nakayama (<a href="https://shunnakayama.myportfolio.com/">Web</a> / <a href="https://twitter.com/shunnakayama_">X</a>)</li>
<li>Text : Ayumi Iga</li>
</ul>


メルカリは生成AI/LLMをどう活用するのか？掲げたミッションは「新たな顧客体験と事業インパクトの創造」と「全社の劇的な生産性の向上」

メルカリでは、AIを活用してUI/UX改善のみならず、サービスをより安心・安全に使える仕組みを提供してきました。そして、今後はさらなるAI活用を進め、循環型社会の実現を目指していきます

世界の様々な購買をより簡単に、<br />高速に、安全にするためのAI

AI技術をリードする専門チーム

私たちは、メルカリのAIを開発するエンジニアリング組織です。世界各国から集ったメンバーが肩を並べ、共に課題解決に取り組んでいます。

Utilize AI to change
billions of lives.

Latest Updates

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in …

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIG…

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces…

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

メルカリは生成AI/LLMをどう活用するのか？掲げたミッションは「新たな顧客体験と事業インパクトの創造」と…

About

People

Utilize AI to changebillions of lives.

Latest Updates

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in …

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIG…

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces…

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

メルカリは生成AI/LLMをどう活用するのか？掲げたミッションは「新たな顧客体験と事業インパクトの創造」と…

About

People

Utilize AI to change
billions of lives.