Blog

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニア・矢田宙生, 秋山翔, 渡邊諒, 上野湧太, 紫藤佑介, Andre Rusliによる論文「Improving Visual Recommendation on E-commerce Platforms Using Vision-Language Models」が、「RecSys 2025（ACM Conference on Recommender Systems）」のIndustry Trackの口頭発表(Spotlight Paper)に採択されたことをお知らせいたします。</p>
<p>RecSys（ACM Conference on Recommender Systems）は、推薦システム分野の世界最高峰会議(トップカンファレンス)であり、世界中の研究者らによって毎年開催されています。開催19回目である今年のRecSysは、チェコのプラハで2025年09月22日から26日まで開催されます。</p>
<p>2025年度のRecSysのIndustry Trackは、149本の投稿の中から55本の論文が採択されています（採択率36.7%）。更に本論文は、採択論文の中でも特に優れた研究として、15本のSpotlight Oral Presentationに選出されました(Top 10.1%)。</p>
<h2>発表内容のポイント</h2>
<p>今回の発表では、メルカリの商品ページ内の「見た目が近い商品」という推薦機能の裏側で動いている画像AIモデルを改善したプロジェクトについて報告します。</p>
<p>メルカリが保有する膨大な商品データを用いて学習したAIモデルを用いて、「見た目が近い商品」のレコメンド性能を大幅に向上させました。</p>
<p><img loading="lazy" decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2025/09/7cf00b6d-image1-549x1024.png" width="274" height="512" alt="image"></p>
<h2>研究の背景</h2>
<p>お客さまからは「この服のデザインが気に入ったから似ているデザインの洋服が欲しい」「大好きなキャラクターの商品がメルカリで売られてないか」といった、ある商品の視覚的な特徴を用いた発見体験に一定の需要が存在していました。</p>
<p>メルカリでは、これまでも画像検索・推薦をはじめとした視覚的特徴を活用した発見機能を提供していました。しかし、その裏側のAIモデルは、メルカリの商品データを学習しておらず、画像の特徴を十分に捉えられていないという課題がありました。</p>
<h2>研究概要</h2>
<p>今回報告するプロジェクトでは、メルカリが保有する約100万件の商品データを用いて、Vision Language Modelと呼ばれる画像とテキストの両方の理解に優れたAIモデルの学習を行いました。</p>
<p>構築したAIモデルによって、</p>
<ul>
<li>「見た目が近い商品」機能のクリック率が50%増加</li>
<li>商品ページのレコメンド経由での購入数が14%増加<br />
という非常に顕著な改善が見られました。本発表で報告するAIモデルは後々、画像検索機能にも用いられています。</li>
</ul>
<h2>Recommendation ML Teamについて</h2>
<p>Recommendation Teamでは、メルカリアプリにおける各画面（ホーム画面、商品詳細画面など）で提供されている推薦機能を通して、お客さま体験を向上することを目的としたチームです。今回の研究のような類似商品の推薦に加え、Two Towerモデルを用いたホーム画面の商品推薦や、バンディッドアルゴリズムによるレイアウトの最適化など、高度なAI技術を駆使して、様々な改善を日々行っています。</p>
<h2>AI/LLM Teamについて</h2>
<p>AI/LLM Teamでは、LLMやEmbeddingといった先端的なAI技術を活用したプロダクトの改善を通して、お客さま体験の向上に貢献することを目的としたチームです。画像検索やAI出品のような機能の開発をリードしています。</p>


メルカリAIチームの研究「Improving Visual Recommendation on E-commerce Platforms Using Vision-Language Models」がRecSys 2025 に採択されました

<h2>　概要</h2>
<p>この度、メルカリAIチームのエンジニア/PMであるAndre Rusli、石本翔真、秋山翔、Aman Kumar Singhによる論文「Zero-Shot Retrieval for Scalable Visual Search in a Two-Sided Marketplace」が、データマイニング・知識発見分野の国際会議「KDD 2025」内のTSMO 2025ワークショップに採択されたことをお知らせいたします。</p>
<p>KDD（Knowledge Discovery and Data Mining）は、データサイエンスと機械学習の分野で最も権威ある国際会議の一つであり、世界中の研究者らによって毎年開催されています。KDD 2025は、カナダのトロントで2025年8月3日から7日まで開催されます。発表は、2025年8月4日に予定されています。</p>
<p>TSMO（Two-sided Marketplace Optimization）Workshopは、マーケットプレイスプラットフォームやオンラインエコシステムに関する研究に焦点を当てた専門ワークショップです。</p>
<h2>発表内容のポイント</h2>
<p>この研究は、エンドユーザーが買い手と売り手の両方として機能するC2Cプラットフォーム特有の課題に対処するための、メルカリでのスケーラブルな画像検索システムを紹介しています。革新的なポイントとして、最新のビジョン言語モデルをゼロショット画像検索に評価し、既存のベースラインに対する優位性を実証したことが挙げられます。</p>
<h3>主な貢献：</h3>
<ul>
<li>リアルタイム推論とバックグラウンドインデックス化ワークフローを統合した本番対応の画像検索システムの開発</li>
<li>多言語SigLIPモデルの包括的評価により、ベースラインに対してnDCG@5で13.3%の改善の実現</li>
<li>オンラインA/Bテストによる本番環境での検証で、画像検索経由の取引率が40.9%向上</li>
<li>ゼロショットモデルが本番利用において強力な実用的ベースラインとして機能することの実証</li>
</ul>
<h2>研究の背景</h2>
<p>メルカリは、従来のB2Cプラットフォームと比較して、C2Cマーケットプレイス特有の課題に直面しています。<br />
ほとんどの売り手は、専門的な事業者ではなく一般の個人のお客さまであるため、多様な商品が出品される上に、商品の命名規則・カテゴリ割り当て・商品写真の品質にばらつきが生じます。これにより、購入前のお客さまのみならず、また出品前の類似商品調査のために閲覧するお客さまにとっても困難が生じています。</p>
<p>商品を発見する一般的な手法として、テキストベースの検索エンジンがあります。しかし C2Cマーケットプレイスのような環境では、商品を発見するまでに苦戦することが多くあります。</p>
<p>多くの商品は、キーワードで正確に記述することが困難です。特にファッション・キャラクターグッズ・コレクションアイテムなどでは視覚的特徴が重要視されています。画像検索は直感的な商品検索手段であり、構造化されたテキスト情報を必要とせずに、エンドユーザーが視覚的に類似したアイテムを見つけるのに役立ちます。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2025/08/4533db99-image1-1024x549.png" alt="" /><br />
<em>画像検索に対する顧客ニーズの図解</em></p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2025/08/bddb1402-image2-1024x446.png" alt="" /><br />
<em>提案された画像検索のUXフロー</em></p>
<h2>研究概要</h2>
<p>本研究は、大規模C2Cマーケットプレイス環境におけるゼロショット画像検索のために、最新のビジョン言語モデル、特に多言語SigLIPを評価しています。システムアーキテクチャは、リアルタイム推論とバックグラウンドインデックス化ワークフローを組み合わせ、768次元から128次元への次元削減により最適化された統一埋め込みパイプラインによってサポートされています。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2025/08/4533db99-image1-1024x549.png" alt="" /><br />
<em>お客さまが検索クエリ画像をアップロードする際のシステムフロー</em></p>
<h3>主要な発見：</h3>
<ul>
<li>多言語SigLIPがオフライン評価において複数の検索メトリクスで他のモデルを上回る性能を示した</li>
<li>オンラインA/Bテストにより、エンゲージメントとコンバージョンの大幅な向上という実際のユーザー体験への影響が確認された</li>
<li>本システムは執筆時点で月間約150万人のお客さま（メルカリの月間アクティブユーザーの約7%）にサービスを提供しており、その数は現在も増加中</li>
<li>ゼロショットアプローチにより、分布シフトに対する堅牢性を提供しながら、広範な下流学習の必要性を排除できる</li>
</ul>
<h3>オフライン評価データセットにおける各種モデルの結果の比較</h3>
<table>
<thead>
<tr>
<th style="text-align: left;">Model</th>
<th style="text-align: left;">nDCG@5</th>
<th style="text-align: left;">Prec@5</th>
<th style="text-align: left;">Recall@5</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align: left;">baseline</td>
<td style="text-align: left;">0.510</td>
<td style="text-align: left;">0.190</td>
<td style="text-align: left;">0.551</td>
</tr>
<tr>
<td style="text-align: left;">clip-japanese-base</td>
<td style="text-align: left;">0.472</td>
<td style="text-align: left;">0.175</td>
<td style="text-align: left;">0.516</td>
</tr>
<tr>
<td style="text-align: left;">siglip-base-patch16-256-multilingual</td>
<td style="text-align: left;"><strong>0.578</strong></td>
<td style="text-align: left;"><strong>0.212</strong></td>
<td style="text-align: left;"><strong>0.634</strong></td>
</tr>
<tr>
<td style="text-align: left;">dinov2-large</td>
<td style="text-align: left;">0.526</td>
<td style="text-align: left;">0.190</td>
<td style="text-align: left;">0.565</td>
</tr>
</tbody>
</table>
<p>この研究は、最新のゼロショットモデルが本番利用において強力で実用的なベースラインとして機能し、チームがドメイン固有のニーズに基づく将来のファインチューニングの柔軟性を保持しながら、最小限のオーバーヘッドで効果的な画像検索システムを展開できることを実証しています。</p>
<h2>所属チームについて</h2>
<h3>AI/LLMチーム:</h3>
<p>メルカリの製品・サービス全体において人工知能と機械学習の能力向上に焦点を当てています。チームは、コンピュータビジョン、自然言語処理、大規模言語モデルの実験を行い、様々なプロダクトチームと密接に連携して最新のAI技術を実験・実装し、お客さまの体験を向上させ、複雑なマーケットプレイスの課題を解決することに取り組んでいます。</p>
<h3>検索チーム:</h3>
<p>メルカリのプラットフォーム全体でお客さまが効率的に商品を発見できるよう、検索システムの構築と継続的な改善に専念しています。チームは、テキストベース検索、画像検索など、さまざまな検索モダリティを開発・維持し、数百万のお客さまに最適な商品発見体験を提供しています。</p>
<h3>MLプラットフォームチーム:</h3>
<p>組織全体のプロダクトチームが機械学習システムを効果的に展開・運用できるよう、堅牢でスケーラブルなインフラストラクチャとプラットフォームの提供を専門としています。チームは、信頼性の高いMLインフラストラクチャの構築、パフォーマンスの最適化、本番環境へのAI機能のシームレスな統合に焦点を当てています。</p>
<h2>謝辞</h2>
<p>この研究の開発を通じて、Search、AI/LLM、MLプラットフォームチームのエンジニアリングメンバーによる卓越した貢献に心から感謝いたします。彼らの深い技術的専門知識、協力的な精神、スケーラビリティとパフォーマンスへの絶え間ない注力は、システムの構築と展開において不可欠でした。<br />
また、デザイナー、プロダクトマネージャー、UXリサーチャーを含む機能横断的なパートナーにも心からの感謝を表します。彼らの思慮深い意見は、顧客にとってシームレスでユーザー中心の体験を確保するために重要でした。評価戦略の形成における分析支援を提供してくれたビジネスインテリジェンス（BI）チーム、厳格なテストと品質保証を行ってくれたQAチーム、認知度向上と採用推進に努めてくれたマーケティングチームに特別な感謝を表します。彼らの献身と専門知識は、この研究を実現するために重要な役割を果たしました。</p>
<hr />


メルカリAIチームの研究「Zero-Shot Retrieval for Scalable Visual Search in a Two-Sided Marketplace」がKDD 2025のTSMO 2025ワークショップに採択されました

<p>この度、メルカリAIチームのエンジニア・矢田宙生, 秋山翔, 渡邊諒, 上野湧太, Andre Rusli, 紫藤佑介による論文「Vision Language Modelを用いたEコマースプラットフォームにおける画像推薦の性能改善」が、画像の認識・理解シンポジウム MIRU2025の口頭発表に採択されたことをお知らせいたします。画像の認識・理解シンポジウム (MIRU)は、画像の認識と理解技術の分野で国内最大規模の会議であり、毎年開催されています。開催28回目である今年のシンポジウムは、京都市にて、2025年7月29日から8月1日まで開催されます。2025年度は、255本の投稿の中から88本の論文が口頭発表に採択されています（採択率34.5%）。</p>
<p>発表時間は、下記のスケジュールを予定しています。<br />
2025年7月31日（木）15時00分 〜 16時20分</p>
<h2>発表内容のポイント</h2>
<p>今回の発表では、メルカリの商品ページ内の「見た目が近い商品」という推薦機能の裏側で動いている画像AIモデルを改善したプロジェクトについて報告します。</p>
<p>メルカリが保有する膨大な商品データを用いて学習したAIモデルを用いて、「見た目が近い商品」のレコメンド性能を大幅に向上させました。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2025/07/8ca99930-image1-549x1024.png" alt="" /></p>
<h2>研究の背景</h2>
<p>お客さまからは「この服のデザインが気に入ったから似ているデザインの洋服が欲しい」「大好きなキャラクターの商品がメルカリで売られてないか」という具合に、ある商品の画像的な特徴を用いた発見体験に一定の需要が存在していました。</p>
<p>メルカリでは、これまでも画像検索/推薦をはじめとした画像的特徴を活用した発見機能を提供していました。しかし、その裏側のAIモデルは、メルカリの商品データを学習しておらず、画像の特徴を十分に捉えられていないという課題がありました。</p>
<h2>研究概要</h2>
<p>今回報告するプロジェクトでは、メルカリが保有する約100万件の商品データを用いて、Vision Language Modelと呼ばれる画像とテキストの両方の理解に優れたAIモデルの学習を行いました。</p>
<p>構築したAIモデルによって、</p>
<ul>
<li>「見た目が近い商品」機能のクリック率が50%増加</li>
<li>商品ページのレコメンド経由での購入数が14%増加<br />
という非常に顕著な改善が見られました。本発表で報告するAIモデルは後々、画像検索機能にも用いられています。</li>
</ul>
<h2>AI/LLM Teamについて</h2>
<p>AI/LLM Teamでは、LLMやEmbeddingといった先端的なAI技術を活用したプロダクトの改善を通して、お客さま体験の向上に貢献することを目的としたチームです。画像検索やAI出品のような機能の開発をリードしています。</p>


メルカリAIチームの研究「Vision Language Modelを用いたEコマースプラットフォームにおける画像推薦の性能改善」が画像の認識・理解シンポジウム MIRU2025​の口頭発表に採択されました

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニアTeofilo Narboneta ZosaとJehandad Kamalによる論文「LLMOps for Eval-Driven Development at Scale（大規模な評価駆動開発のためのLLMOps）」が、FOSSASIA Summit 2025に採択されたことをお知らせいたします。</p>
<p>FOSSASIA Summitは、アジアのフリー・オープンソースソフトウェア（FOSS）のコミュニティをターゲットにした年次イベントです。このサミットは、開発者、エンジニア、コミュニティメンバー、企業リーダー、オープンソース愛好者などが集まり、最新の技術トレンドやオープンソースプロジェクトを共有し、学ぶ場として設けられています。</p>
<p><iframe loading="lazy" width="560" height="315" src="https://www.youtube.com/embed/GyHY4g93kPk?si=pue4UE96XKbVUqpv" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe></p>
<h2>発表内容のポイント</h2>
<p>メルカリは、DevOps、MLOps、そして最近ではLLMOpsの開発を推進しており、エンジニアの開発速度と品質にたいして大きな貢献をしており、ソフトウェアの品質とエンジニアの開発体験の両面で効果を生んでいます。本講演では、プロンプト管理、評価、LLMアプリケーションの可観測性から、最も野心的なプロジェクトの成功に重要だったLLMOpsの重点分野とOSSソフトウェアについて掘り下げます。これらのプロジェクトはすでに、日本最大のC2C eコマースマーケットプレイスであるメルカリの2300万人以上のユーザーに比類のない顧客価値を提供しています。</p>
<h2>研究の背景</h2>
<p>過去10年間で、DevOpsはソフトウェア開発のスタイルを変革し、堅牢で保守可能なソフトウェアをもたらしました。信頼性が高く、短時間での開発を可能にしています。ここ数年では、同じDevOpsと同じく、ML Opsという考えがAI開発にも適用されています。最初はMachin Learning領域から開始され、現在は生成AIにまつわるアプリケーションにも適用されています。目標は変わらず、高速かつ大規模に高品質なソフトウェアを提供することです。</p>
<h2>研究概要</h2>
<p>メルカリのAI/LLMチームのメンバーは、今回スケールにおいて高品質な生成AIアプリケーション開発のための手法を紹介しました。具体例として、メルカリのAI出品機能を取り上げ、メルカリのAIエンジニアと専門家がどのように効果的に協力し、評価に基づく開発や密接なコラボレーションを通じ、AI開発のサイクルを強化し、お客さまにとって価値のある機能提供に繋げているのか紹介しました。</p>
<h2>Eliza Teamについて</h2>
<p>メルカリのElizaチームは、AIとLLM（大規模言語モデル）に特化したチームであり、メルカリ社内における生成AIの活用とLLMの実用化、さらには既存のAIテクノロジーを活用して、より便利なサービスを構築することを目指しています。社内外の生産性向上および新しいAIツールの開発と展開における役割を担っています。</p>


メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニア 大橋 耕也・関根 翔・Deddy Jobson・Jie Yangによる論文「<a href="https://drive.google.com/file/d/1gW4ocpkH3To1kgEbg8ciXwcb6V4tRQi0/view">Strategic Coupon Allocation for Increasing Providers' Sales Experiences in Two-sided Marketplaces</a>」が、データマイニング分野の国際会議である<a href="https://kdd2024.kdd.org/">KDD2024</a>の<a href="https://sites.google.com/view/tsmo2024/home">Workshop on Two-sided Marketplace Optimization（TSMO 2024）</a>に採択され、発表を行いましたことをお知らせいたします。</p>
<p>本研究はメルカリの研究開発組織である『<a href="https://r4d.mercari.com/">mercari R4D</a>』の支援を受け、筑波大学との共同にて研究を行いました。</p>
<p>KDDは、データマイニング分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。本年は、スペインのバルセロナにて、2024年8月25日から29日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<p><a href="https://drive.google.com/file/d/1gW4ocpkH3To1kgEbg8ciXwcb6V4tRQi0/view">Strategic Coupon Allocation for Increasing Providers' Sales Experiences in Two-sided Marketplaces</a></p>
<p>今回の発表では、できるだけ多くの出品者に商品の売却体験を提供するためのクーポン配布戦略を提案しました<br />
売却体験を通じて満足度が向上すれば、ユーザーは積極的に出品を続ける可能性が高まり、プラットフォームの魅力や、出品される商品の量と多様性が、さらに向上することが期待されます</p>
<h2>研究の背景</h2>
<p>メルカリのようなCtoCマーケットプレイスでは、プラットフォーマーが直接的なサプライチェーンを持っていないため、出品商品の量や種類を増やすためには、個人の出品者の自発的な出品活動を促進する必要があります。出品行為には、商品の選定や撮影、売却後の梱包など一定の労力がかかるため、出品者がアクティブに行動するためには強いモチベーションが不可欠です。出品モチベーションに影響を与える要因は個人によって異なりますが、最も根本的かつ重要な体験は「売却体験（商品が売れること）」であると考えています。そのため、できるだけ多くのユーザーに売却体験を提供することが重要です。</p>
<p>しかし、メルカリのような二面市場（Two-sided market）においては、プラットフォーマーによる適切な介入が行われないと、トランザクションが一部のユーザーに偏るリスクが指摘されています。そこで、我々Data Scienceチームでは、最もよく用いられるマーケティングツールのひとつであるクーポンを活用し、トランザクションの偏りを解消することで、より多くの出品者に売却体験を提供することを目指しました。</p>
<h2>研究概要</h2>
<p>本論文では、売却体験ユーザー数をKPIとしたクーポン配布戦略の最適化手法を提案しました。一般的に、クーポン配布を特定のKPIに対して最適化するためには、対象ユーザーへのメリハリのある介入が必要となります。Uplift modelingと数理最適化を活用して、効率的なクーポン配布戦略を提案しました。</p>
<p>提案手法を活用することで、従来の方法に比べ、より多くの出品者が売却体験を得られることをメルカリの実データで確認しました。この手法の運用により、多くの出品者の満足度が向上し、個々の自発的な出品行動の促進が期待されます。</p>
<h2>Data Science Teamについて</h2>
<p>メルカリのData Scienceチームでは、統計学、機械学習、数学的最適化などの技術を駆使して、顧客理解分析やマーケティング活動の効率化、さらにはプロダクト機能の開発を行っています。</p>
<h2>mercari R4Dについて</h2>
<p>「<a href="https://r4d.mercari.com/">mercari R4D</a>」は2017年12月に設立した、社会実装を目的とした研究開発組織です。「まだ見ぬ価値を切り拓く」というミッションのもと、メルカリが目指す限りある資源を循環させ、あらゆる人が可能性を発揮できる社会の実現に向けて、産業界やアカデミア、国といった枠を超えてコミュニティをつなぎ、科学技術の力で複雑な社会課題を解決するCo-Innovation的アプローチを推進しています。</p>


メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

<p>この度、メルカリAIチームのエンジニアYilin LiとDeddy Jobsonによる論文「<a href="https://dl.acm.org/doi/10.1145/3665939.3665969">LLMs as an Interactive Database Interface for Designing Large Queries</a>」が、データマネジメント分野の国際会議「<a href="https://2024.sigmod.org/">SIGMOD 2024（The ACM Special Interest Group on Management of Data）</a>」の<a href="https://hilda.io/2024/SIGMOD%202024">HILDA Workshop</a>に採択されたことをお知らせいたします。</p>
<p>SIGMOD 2024 はデータマネジメントの分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催49回目である今年の「SIGMOD2024」は、チリ、サンティアゴにて2024年6月9日から14日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<ul>
<li>現在のText2SQLは、メルカリの規模のデータベースに対して拡張されると、不正確なクエリを生成してしまうことがあります</li>
<li>今回の論文では、SQLクエリを反復的に微調整するために、人間のフィードバックを取り入れるシステムを構築しました</li>
<li>次のイテレーションでは、Schema Linkingを改善するためにナレッジグラフを活用を検討しています</li>
</ul>
<h2>研究の背景</h2>
<p>大企業において、SQLクエリの作成は時間を要し、骨の折れる作業になります。必要なデータは複数のテーブルに散在しており、またこれらのデータは常に更新されるため、専門外のメンバーなどが一回限りのデータ分析タスクのためにクエリを作成することは極めて難しくなります。</p>
<h2>研究概要</h2>
<p>メルカリにおけるデータの民主化を進めるべく、テキストからSQLへの変換を行うLLMを利用したソリューションを実装します。すでに既存の多くの方法が存在する一方で、検出が困難なエラーを引き起こす傾向も見られました。そのため、Text2SQLを一回限りの生成プロセスとして扱うのではなく、人間が介入するインタラクティブな問題として捉えます。我々は、クエリをエンドユーザーに返す前に検証ステージと人間のフィードバックを含むシステムを構築します。今回の提案手法は、エラーを減少させ、より有用なクエリを生み出すことができます。</p>
<h2>Customer Understanding Teamについて</h2>
<p>Customer Understandingチームは、統計学、数理最適化、大規模言語モデルなど、様々な技術を活用し、メルカリグループのお客さまの行動を分析し、カスタマージャーニーとLTVを最適化するための戦略の提案を行っています。</p>


メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

Interview

<p>現在、メルカリのML組織には、多くのMLエンジニアが所属しています。しかし、MLエンジニアは同一部署に所属しているわけではなく、社内の様々な部署に分散して所属し、それぞれのチームが直面している課題に対して開発を推進しています。</p>
<p>しかし、ML組織の分散・拡大にともない、メルカリのMLチームは、ナレッジシェアやチーム間連携がしづらいといった課題を抱えていました。そうした壁を超えるべく、2022年より、現場のエンジニアメンバーによる旗振りで、「Mercari AI/ML Guild（以下、ML Guild）」が設立。ML Guildは、MLエンジニアの情報共有を目的に、月に1回必ず継続して運営されています。</p>
<p>現場のエンジニアのアイディアにより取り組み開始し、その後定期的な開催を行っているML Guildについて、その設立と運営をリードしてきたエンジニアAbhinav Kumar ・Paul Willot・ 西岡 祐輔の3名に、設立の背景や、組織上の課題がML Guildによってどう変化してきたか、話を聞きました。</p>
<h2>プロフィール</h2>
<h3>Abhinav Kumar (@Abhinav)</h3>
<p>2018年にML Engineerとしてメルカリに新卒入社。入社後、画像検索チームに所属し、その後Data Science Backendチームに異動し、チームのEM（Engineering Manager)） / TechLeadを担当し、パーソナライゼーション機能の開発を推進。直近で、広告エンジニアリングチームに加わり、メルカリ広告インフラストラクチャの開発を行う。ML とバックエンドへの関心に加えて、チーム効率化にも取り組む。</p>
<h3>Paul Willot (@meatboy)</h3>
<p>2021年メルカリに入社。DeepLearningに専門性を持つ。モデリングや大規模データの処理から、ランタイムの最適化やクラスタ展開まで、MLスタック全般の経験を持ち、研究と開発間のギャップを埋めている。メルカリ入社前は、FinTech企業で大規模なリアルタイム予測モデルの開発や、日本の大企業に対するコンサルティングを担当していた。</p>
<h3>西岡 祐輔 | Yusuke Nishioka (@ysk24ok )</h3>
<p>インターネット広告会社で広告配信アルゴリズムの改善やデータ基盤の立ち上げ、AIスタートアップで音声認識プロダクトの開発などを経て、2021年にメルペイに入社。2022年にメルカリに異動し、現在はML Platformの機能拡張や保守に携わる。</p>
<p><strong>ーまず、みなさんの自己紹介と、メルカリで担当している仕事について教えてください。</strong></p>
<p><strong>Abhinav：</strong>メルカリには5年半前に、新卒として入社しました。最初の2年は商品画像検索のMLチームで働いた後、TnS（Trust &amp; Safety）チームに異動。その頃、PMと一緒にデータ・サイエンス・バックエンドチームの立ち上げを経て、EM（Engineering Manager)）を務めました。現在は、Ads Engineeringという新しいチームに所属しています。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/06/a0e7a8ae-mercari-06706-1024x682.jpg" alt="" /></p>
<p><strong>meatboy : </strong>MLエンジニアとしてメルカリに入社し、もうすぐ3年になります。入社以来ずっと、出品のプロジェクトに携わっています。およそ1年半の間、私はチームで働き、検索エンジンを用い、精進と買い手のマッチングを容易にするための取り組みを行ってきました。</p>
<p><strong>ysk24ok：</strong>私は2021年にメルペイに入社し、2022年にメルカリへ異動。現在はMLプラットフォームのチームに所属し、MLエンジニアの業務を効率化するためのインフラやソリューションを提供しています。</p>
<p><strong>ー「Mercari AI/ML Guild（以下、ML Guild）」の設立について詳しく教えてください。</strong></p>
<p><strong>Abhinav：</strong>ML Guildは2022年11月に始まりました。私がデータサイエンスチームのEMを務めていた時に、MLチームのEMである梅澤さん（@umechan）に相談し、ML Guildを実験的に開始しました。<br />
新しい組織構造に組織体制が変化し、以前はMLチームは1つのチームでしたが、キャンプ体制（Camp System）という、4～5つの目的に応じた組織が編成されました。MLエンジニアは各キャンプに所属し、現在に至るまで、組織的には分散した状況が続いています。<br />
以前はMLメンバー間でも多くのコミュニケーションが生まれていたのですが、キャンプ体制後に入社したメンバーも増え、チームを越えたコミュニケーションが生まれづらい状況になっていきました。事前アンケートを実施したところ「現在のMLチーム全体のコミュニケーション構造に満足していない」というメンバーが8割もいたのです。そこで、『Mercari AI/ML Guild』というコンセプトを立ち上げ、チーム間のコミュニティ・トラストを作ることにしました。まずは、各チームと、そのメンバーを知ることを目的としました。<br />
また、ML Guildはナレッジ共有の促進も目的としています。MLのプロジェクトは、開始から実行までの時間が非常に長いため、フィードバックを共有し、プロジェクトで起こっていることを共有し、ベストプラクティスを共有するためのプラットフォームが必要なことは明らかでした。新しく入ったMLのメンバーは、どこで、誰に、何を聞けばいいのか、不明瞭な状態だったんですよね。</p>
<p><strong>meatboy :</strong> ML Guild以前にも、ディスカッションのためのグループは複数存在していましたが、それらも分散しており、1つの大きなグループではありませんでした。MLの学術研究や、検索等、特定のトピックに関するものが多く、包括的な取り組みに関して議論ができる場はありませんでした。ML Guildでは、トピックを特定のものに絞ることはせず、機械学習の様々な分野の知見を共有し、最新の情報を得る機会を提供しています。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/06/d9948a63-mercari-06685-1024x682.jpg" alt="" /></p>
<p><strong>ーML Guildは、どうやって運営しているのですか？</strong></p>
<p><strong>Abhinav：</strong>ML Guildはここにいる3名をはじめ、複数のメンバーで共同運営されていますが、実は、貢献したい人がボランティアとして参加してくれています。現在の構成は、各キャンプを代表して数名のリーダーがおり、そのリーダーが組織としての目標設定および、ML Guildのエフォートの方針を決定しています。</p>
<p><strong>meatboy :</strong> 現時点では各運営メンバーの責任内容は同一です。つまり、全員がメインオーガナイザーです。例えば、次のイベントのスケジューリングは誰がやるかを持ち回りで決めています。例えば、チームビルディングや雑談のためのイベントなどのイベントを開催することもあります。</p>
<p><strong>Abhinav：</strong>基本的にはQごとに3つの活動を交互に行っています。Qの1回目は各チームのOKR共有、2回目のセッションでは、プロジェクトやベストプラクティスの共有・アナウンスメント、そして3回目は、チームビルディングのための企画を行っています。また @meatboy が3ヶ月ごとにチームビルディングのパーティーを企画し、オフラインで集まるような機会も設けています。</p>
<p><strong>ysk24ok：</strong>例えば、プラットフォームチームが何か新しいソリューションを開発してそれを各チームに使ってもらうためには、各チームの既存の仕組みからマイグレーションしてもらう必要がある際など、アナウンスの場としても機能しています。</p>
<p><strong>ーML Guildを設立したこの数年間で、組織上の課題は解決されたのでしょうか？　</strong></p>
<p><strong>meatboy：</strong>いくつかの問題に関しては明らかに改善してきています。もちろん、もっと緊密な協力が必要な場面はありますし、まだまだ改善したいポイントもありますが、当初私たちが抱いていた課題に関しては、ML Guildは本当に役に立ちました。定期的に他のチームでも起こっていることを知ることができるのは、とてもいいことだと思います。<br />
例えば、個人的な体験として、ML Guildを通じてあるチームがすでに同様のプロジェクトに取り組んでいることを知り、彼らに話を聞きに行って、モデルや知識などを交換することができました。このように、ML Guildを通じてシナジーが生まれた経験が何度もありました。</p>
<p><strong>ーMLエンジニアとして、ML Guildの取り組みを通じて変化があれば教えてください。</strong></p>
<p><strong>meatboy :</strong> 私は社内のプラットフォームチームとも定期的にコミュニケーションを取り合っていますが、多くのメンバーにとって、そうした機会は少ないです。しかし、我々はしばしば新しいサービスを開発するため、既存のシステムを適応させる必要があります。あなたがすでに同様の改修を行ったことを知っている場合や、誰に尋ねるべきか知っている場合、これはとても役に立ちます。私はそれがメルカリのMLメンバーの多くを助けたと思います。<br />
そして、エンジニア同士の直接の交流も盛んです。私は、入社当時出品のプロジェクトを担当していましたが、その後サーチ部門に移りました。出品のサイズについて疑問を持つことが多かったのですが、ML Guild後は、過去に担当したことがあるエンジニアと1on1で知識を共有することができ、とても役に立ちました。</p>
<p><strong>Abhinav：</strong>この1年間、1回のセッションに平均25人以上のMLエンジニアが参加しています。また、一度セッションに参加した人は、次のセッションにも参加しています。一般的に、このような大規模なセッションを開催する場合、継続率は基本的に低くなります。個人的な意見ですが、このように定着率を維持できている要因として、ML Guildの頻度が挙げられます。現在は月に1回という頻度のため、忙しいメンバーもリラックスして参加することができているのかなと感じます。<br />
2つ目は、ML Guildの開催をスキップせず、毎月開催を継続して行っています。不定期ではないことで、毎月行われているイベントだと認識してもらえる。そして、最も重要なことですが、ML GuildはEMではなく、現場のMLエンジニアが主導しています。<br />
私がメルカリに入社した当時、同じようなコンセプトで、情報共有のための会議がありましたが、そのほとんどはEMが主導していました。しかし、ML Guildでは、エンジニアは自分の担当したプロジェクトと、そこで得られたインサイトを共有する機会がある。また、そうした発表を通じて、多くの人と話すことができるので、コラボレーションが生まれていると思います。</p>
<p><strong>ysk24ok :</strong> プラットフォーム・エンジニアとして、私たちは時々、将来のコラボレーションについて、ディスカッションのための場を設けています。そうした際に、もし私が誰とも面識がないチームとの間で1から会議体を設定するのはハードルがあると思うのですが、ML Guildのおかげで、各チームのメンバーを知る機会が持てていて、助かっています。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/06/f7f7511c-mercari-06600-1024x682.jpg" alt="" /></p>
<p><strong>ーML Guildとして、今後のビジョンがあれば教えてください。</strong></p>
<p><strong>Abhinav：</strong>短期的な目標をいくつか挙げますと、私たちのペースを維持し、継続参加を維持し、この取り組みを継続していきたいと思っています。中長期的な目標は、ML Guildの場から、新しいビジネス・プロジェクトを生み出すことです。</p>
<p><strong>meatboy ：</strong>ML Guildから、チーム横断的なプロジェクトを組成し、よりビジネスにインパクトを与えたり、外部のコンペティションに参加したりすることができると考えています。将来的にはプラットフォームとなることを目指せるかもしれない。</p>
<p><strong>ysk24ok :</strong> そうですね。これは、短期的な目標か長期的な目標かはわかりませんが、チームビルディングのセッションでは、特定のメンバーだけが参加しましたが、参加しないメンバーもいました。現在のML Guildも同様で、出席はしているが、自分たちのプロジェクトについて発表しないメンバーもいます。今後どのように変化していくか見て行きたいです。</p>
<p><strong>ーML Guildを運営する上で、当初は苦労された点はありましたか？</strong></p>
<p><strong>Abhinav：</strong>私は、最初からこの取り組みを支えてくれた@meatboy と @ysk24ok のサポートに本当に感謝しています。特に最初に苦労したのは信頼関係でした。<br />
なぜこのような新しいセッションを行うのか？なぜ必要なのか？という点が浸透しておらず、みんな自分の仕事に忙殺されているため、なかなか参加してもらえませんでした。そのため、まず各MLチームのEMに声をかけて、ML Guildの提案に対するフィードバックをもらいました。こうして少しずつ信頼関係を築くことで、EMから各チームのメンバーにも参加を呼びかけてもらえるようになりました。</p>
<p><strong>meatboy ：</strong> 当初は、メンバーに参加してもらうためにたくさんの告知をしなければならないことも多かったですね。そうした地道な取り組みを経て、参加状況も改善してきました。<br />
ML Guildの運営を通じて私たちが得た学びのひとつは、チームビルディングを目的としたイベントと、有益な知見共有のイベントの適切なバランスを保つことです。<br />
そして、「このミーティングの目的は何か？」と、問い続ける必要があると思います。今後もみんなの時間を正当化できるよう、有益なものにし続ける必要があると感じています。</p>
<p><strong>Adbinav： </strong>今後、さらに新しいメンバーにも入ってほしいですね。ML Guildは自主的に運営されているため、ローテーションで行いつつも、フレッシュな視点でこのスキルを維持できるように、新しいメンバーを迎えたいと考えています。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/06/9d3a7180-screenshot-2024-06-28-at-23.43.38.png" alt="" /></p>


メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

<h2>概要</h2>
<p>この度、メルカリAIチームの元インターン生である須賀 幹太（早稲田大学先進理工学研究科）およびメルカリAIチームのエンジニアである宮本 琳太郎・桂 尚輝・梅澤 慶介が、論文「過去クエリを介した関連文書検索システム」について、言語処理学会第30回年次大会（NLP2024）にてポスター発表を行いました。</p>
<p>言語処理学会は、自然言語処理（NLP）の研究者・技術者が集う国内最大級の学会で、 第30回にあたるNLP2024は、2024年3月11日から3月15日まで兵庫県神戸市にて開催されました。</p>
<h2>研究の背景</h2>
<p>メルカリでは、お客さまのお問い合わせ対応や、不正検知のためのツールを内製で開発しています。特に、お困りごとを抱えたお客さまを素早く解決に導くことは、お客さま満足度の向上の観点でも非常に重要です。</p>
<p>もちろんお客さまによってお困りの状況や背景は異なりますが、過去にいただいたお問い合わせの中には類似した内容もあり、これまでに蓄積された情報を有効活用することで、解決時間の削減を目指し、今回の手法を提案しました。</p>
<h2>研究概要</h2>
<p>メルカリではサービス内にお問い合わせフォームを設けており、お客さまにお困りごとがあった際に問い合わせをお送りいただけるようになっています。メルカリでは多数のお問い合わせをいただいており、お客さまの困りごとに素早く対応するためにも、解決時間の効率化が求められています。</p>
<p>お問い合わせの多くは、過去の別のお問い合わせに類似しており、対応方法を検討するべく、過去の類似したお問い合わせを参照することは業務効率改善の糸口となります。</p>
<p>しかしながら、サービス運営上、対応マニュアルやシステムの変更は一定発生するため、過去のお問い合わせを参照するだけでは不十分な状況もあります。したがって、本研究では、過去のお問い合わせを用い、現行のヘルプガイドを検索する手法を提案し、実験では複数の条件を変更した場合の結果の比較を含めて報告しました。</p>
<h2>発表内容のポイント</h2>
<p>本論文では、お客さまがメルカリでお困りごとがあった際に、カスタマーサポートにお送りいただくお問い合わせの文章と、過去の会話履歴データを用い、お困りの状況に対する解決策を既存のヘルプガイドと関連付けて検索する手法を提案します。</p>
<p>今回の提案手法では、お客さまのお問い合わせを、文書埋め込みモデルを用いてベクトル化しました。同様にベクトル化された過去のお問い合わせ履歴から、高い類似度のお問い合わせを収集し、そのお問い合わせの返信文と高い類似度を示すヘルプガイドを多数決でリンクさせることで、高い検索精度を達成しました。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/05/cf2bad72-image1-724x1024.png" alt="" /></p>
<p><center>今回発表を行ったポスター<br />
</center></p>
<h2>発表者のコメント</h2>
<h3>須賀 幹太 | メルカリ AIチーム 元インターン</h3>
<p>今回の取り組みに関して、学会という場で意見を直接交換することによって新たな改善点が見つかり、成果を対外的に発表していくことの重要性を実感しました。</p>
<p>また、様々な発表を見る中でAI分野の技術的進歩の速さを痛感し、よりキャッチアップに努めなければいけないと感じました。インターンでありながらこのような発表機会をいただき、とても貴重な経験となりました。ありがとうございました。</p>
<h3>桂 尚輝 | メルカリ ML Engineer</h3>
<p>今年の言語処理学会の年次大会では、ポスター発表に加え、メルカリのスポンサーブースを設け、国内の学生や研究者、エンジニアと議論を行うことができました。</p>
<p>企業の研究者やエンジニアからは、お問い合わせに関する言語モデルの利用に関して、直面している課題が共通の認識であることが多いと感じました。本会議では、有意義なインプットと議論の場となりました。議論を通じて得られた知見を、メルカリの事業に活かしていきます。</p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/05/af108a4c-image2-1024x576.jpg" alt="" /></p>
<p><center><br />
現地でのメンバーの様子<br />
</center></p>
<p><img decoding="async" src="https://storage.googleapis.com/prd-ai-asset/2024/05/9581bddd-gixoxqxbqaanecv-1-1024x576.jpeg" alt="" /></p>
<p><center><br />
スポンサーブースの様子<br />
</center></p>
<h2>CRE（Customer Reliability Engineering） ML Teamについて</h2>
<p>メルカリのカスタマーサポート領域において、機械学習を用いた内製ツールの開発・業務効率化を行っています。</p>


メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

<p>こんにちは、メルカリの生成AIチームで ML Engineer をしている <a href="https://twitter.com/MLBear2">ML_Bear</a> です。</p>
<p>以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。</p>
<p>ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。</p>
<p>本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについて説明します。</p>
<h2>課題</h2>
<p>まずは今回のプロジェクトの背景と技術的な課題を簡単に説明します。</p>
<p>メルカリは2024年にカテゴリリニューアルを行い、階層構造を見直すとともに商品カテゴリの数を大幅に増やしました。しかしカテゴリ数やその階層構造がかわるということは、それに紐づく商品のデータも変更する必要があります。</p>
<p>通常であれば商品のカテゴリ分類は機械学習モデルやルールベースモデルを利用します。しかし今回のケースでは過去の商品に対する「新しいカテゴリ階層での正解カテゴリ」がわからないため、機械学習を使用した分類器を作成することができませんでした。また、カテゴリ数が非常に多いため、ルールベースモデルの構築も困難でした。そこで、この課題に対してLLMを活用できないかというアイディアが出てきました。</p>
<h2>解決策: LLMとkNNによる2ステージ構成の予測アルゴリズム</h2>
<p>結論としては以下のような2ステージ構成のアルゴリズムを組むことで今回の課題に対応しました。</p>
<ol>
<li>ChatGPT 3.5 turbo (OpenAI API[2])で過去商品の一部の正解カテゴリを予測する</li>
<li>1.を学習データとして過去商品のカテゴリ予測モデルを作成</li>
</ol>
<p>全てをChatGPTで予測できれば楽だったのですが、メルカリの過去商品は30億商品を超えるため[3]、全てをChatGPTで予測するのは処理時間的にもAPIコスト的にも不可能でした。そのため、紆余曲折を経てこのような2ステージのモデル構成としました。(すべての商品をChatGPT 3.5 turboで分類するとコスト見積もりは約100万ドル、処理時間見積もりは1.9年という非現実的な数字でした)</p>
<p>以下にモデルの内容を簡単に説明します。詳細については「工夫した点」で述べるため、一旦はシンプルな解説に留めます。</p>
<h3>1. ChatGPT 3.5 turbo (OpenAI API)で過去商品の一部の正解カテゴリを予測する</h3>
<p>まず、過去に出品された商品を数百万点サンプリングし、ChatGPT 3.5 turboにその商品の「新しいカテゴリ構成での正しいカテゴリ」を予測させました。 具体的には、各商品の商品名や商品説明文、元のカテゴリ名をもとに新しいカテゴリの候補を10個程度作成し、その候補の中から正解を答えさせました。</p>
<h3>2. 1.を学習データとして過去商品のカテゴリ予測モデルを作成</h3>
<p>次に、1. で作ったデータセットを正解データとして、シンプルな kNN モデル[4] を作成しました。</p>
<p>具体的には、まず、1.で正解カテゴリを予測した商品のEmbeddingと正解カテゴリをベクトルデータベースに保存しておきます。その後、予測したい商品のEmbeddingを元に、ベクトルデータベースから類似商品をX個抽出し、そのX個の商品の最頻カテゴリを正解カテゴリとしました。</p>
<p>Embeddingは各商品の商品名、商品説明文、メタデータ、元のカテゴリ名などを連結した文字列をもとに計算しました。より複雑な機械学習モデルも検討しましたが、シンプルなモデルで及第点の性能が出たためシンプルなモデルを採用しました。</p>
<h2>工夫した点</h2>
<p>さて、ここからは今回のプロジェクトで工夫した点をご紹介します。以下のような点を工夫したので、ひとつづつ説明します。</p>
<ul>
<li>OSSのEmbeddingモデルの活用</li>
<li>Sentence Transformers ライブラリによるMulti-GPUの活用</li>
<li>Voyager Vector DBによるCPU上での高速な近傍検索</li>
<li>max_tokensとCoTの活用によるLLM予測の高速化</li>
<li>Numba・cuDFの活用</li>
</ul>
<h3>1. OSSのEmbeddingモデルの活用</h3>
<p>第2ステージのモデル (kNN) では商品のEmbeddingの計算が必要でした。自前でニューラルネットワークを組むことも可能でしたが、OpenAI Embeddings API (<code>text-embedding-ada-002</code>) [5]で十分な精度が出ることが確認できたので、当初はこのAPIを利用する方針としていました。</p>
<p>しかし、試算してみたところ、すべての商品にOpenAI Embeddings APIを利用するのは処理時間的にもコスト的にも少し厳しいということがすぐにわかりました。</p>
<p>そんな中、MTEB[6]やJapaneseEmbeddingEval[7]を眺めていると英語以外の言語でもOpenAI Embeddings APIに匹敵するOSSのモデルが多数あることに気づきました。自分たちで評価用データセットを作って試してみたところ、OpenAI Embeddings API同等の精度が出たためOSSのモデルを利用することにしました。</p>
<p>私たちがこのプロジェクトを行なっていた2023年10月時点のデータでは、以下のモデルが高い精度を示しており、最終的には計算コストと精度のバランスを鑑み intfloat/multilingual-e5-base を利用しました。(MTEBのランキングは常時入れ替わっているため、2024年4月現在はもっと強いモデルがあると思います)</p>
<ul>
<li>intfloat/multilingual-e5-large [8]</li>
<li>intfloat/multilingual-e5-base [9]</li>
<li>intfloat/multilingual-e5-small [10]</li>
<li>cl-nagoya/sup-simcse-ja-large [11]</li>
</ul>
<p>このように、OSSでも非常に高性能なEmbeddingモデルが存在しているため、Embeddingを利用するプロジェクトを行う場合は、シンプルな問題を作成して、OSSでも十分な性能を持つモデルがあるかどうかを確認してみることをお勧めします。</p>
<h3>2. Sentence Transformers ライブラリによるMulti-GPUの活用</h3>
<p>OSSモデルを利用することで OpenAI Embeddings APIに比べて飛躍的に処理速度が上がったものの、数十億商品を処理するにはもう少し改善が必要でした。</p>
<p>A100などの強力なGPUを利用できれば話が早かったのですが、世界的なGPU枯渇の影響を受けてか、プロジェクト実施時の2023年11-12月時点では強いGPUを掴むことはなかなか困難でした。(現在もあまり状況は変わっていないかと思います)</p>
<p>そのため、V100やL4などのGPUを複数台並列で利用して対応することにしました。幸いなことに、Sentence-Transformers[12]ライブラリを利用すると以下のようなシンプルなコードで複数台のGPUを簡単に並列化できたため、非常に助かりました。</p>
<pre><code class="language-python">from sentence_transformers import SentenceTransformer

def embed_multi_process(sentences):
    if &#039;intfloat&#039; in self.model_name:
        sentences = [&quot;query: &quot; + b for b in sentences]
    model = SentenceTransformer(model_name)
    pool = model.start_multi_process_pool()
    embeddings = model.encode_multi_process(sentences, pool)
    model.stop_multi_process_pool(pool)</code></pre>
<p>強力なGPUを大量に使えれば理想的ですが、それが難しい状況でも工夫次第で処理を高速化することができます。Sentence-Transformersのようなライブラリを活用して、限られたリソースを最大限に活用することが重要だと感じました。</p>
<h3>3. Voyager Vector DBによるCPU上での高速な近傍検索</h3>
<p>kNNを利用する際にはベクトルデータベースが必要でした。サンプリングしたとはいえ数百万商品の学習データになったため、GPUのメモリに載らない状況でした。A100 80GBなどの大きなメモリを持つGPUを使えば載ったかもしれませんが、前述の通り強力なGPUは確保が困難だったので試すことすらできませんでした。</p>
<p>そんな折、Spotify社製のVoyager[13]がCPUでも高速に動作すると聞いたので試してみたところ、実用に足る速度を簡単に実現できました。Embedding計算に比べると近傍探索の時間はそれほど影響が大きくなかったため厳密に他のプロダクトと比較していませんが、十分な速度を出すことができていました。</p>
<p>Voyagerにはメタデータ管理機能がなかったので自分たちでクライアントを書く必要がありましたが、それでも全体的には良い選択だったと思っています。</p>
<h3>4. max_tokensとCoTの活用によるLLM予測の高速化</h3>
<p>今回のプロジェクトでは ChatGPT 4 はコスト面から利用できず、ChatGPT 3.5 turboを使わざるを得ませんでした。ChatGPT 3.5 turboはコストの割に賢いとは思いますが、精度には少し不安がありました。そのため、Chain of Thoughts[14]を利用して説明を生成させることで精度向上を図りました。</p>
<p>皆さまもご存知かと思いますが、ChatGPTに説明を行わせるとずっと喋り続けることもあり、処理時間が問題となりました。そこで、<code>max_tokens</code>パラメータを利用して長い話を途中で打ち切ることで処理時間の短縮に努めました。</p>
<p>回答を打ち切ると(Function Callingの) JSONが壊れるので、LangChain[15]のllm.stream()を利用したり、もしくは自分でJSONを復元してパースする必要があり少し手間がかかります。厳密な比較はしていないものの、この手法によって処理時間短縮と精度向上の良いバランスを取れたと感じています。</p>
<p>以下がLangChainの<code>llm.stream()</code>を利用した場合のサンプルコードです。</p>
<pre><code class="language-python">from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class ItemCategory(BaseModel):
    item_category_id: int = Field(None, description=&quot;商品説明から予測したカテゴリID&quot;)
    reason: Optional[str] = Field(None, description=&quot;このカテゴリIDを選択した理由を詳しく説明してください&quot;)

system_prompt = &quot;&quot;&quot;
与えられる商品情報を元に、商品のカテゴリを予測してください。
商品のカテゴリは候補から選んでください。選んだ理由も説明してください。
&quot;&quot;&quot;
item_info = &quot; (商品データと新カテゴリ候補などを入れる) &quot;

llm = ChatOpenAI(
    model_name=&quot;gpt-3.5-turbo&quot;,
    max_tokens=25,
)
structured_llm = llm.with_structured_output(ItemCategory)
prompt = ChatPromptTemplate.from_messages(
    [
        (&quot;system&quot;, system_prompt),
        (&quot;human&quot;, &quot;{item_info}&quot;),
    ]
)
chain = prompt | structured_llm

# streamingの最後の要素だけ取り出す
# - 通常、max_tokensで回答を打ち切るとjsonが壊れてパースの処理が必要
# - langchainのstreamで実行すると常にjsonを完成させてくれるため、
#   max_tokensで回答を打ち切ってもjsonをパースする必要がない
for res in chain.stream({&quot;item_info&quot;: item_info}):
    pass

print(res.json(ensure_ascii=False))  # res: ItemCategory
# {&quot;item_category_id&quot;: 1, &quot;reason&quot;: &quot;商品名に「ぬいぐるみ」が含まれ&quot;}</code></pre>
<h3>5. Numba・cuDFの活用</h3>
<p>数十億商品を処理する際は些細な処理でも処理速度が気になるため、可能な限りすべての処理をcuDF[16]およびNumba[17]で高速化しました。</p>
<p>正直なところ Numba を書くのは苦手だったのですが、Pythonの素のコードをChatGPT 4に見せると書き直してくれるため、ほとんど自分で書く必要がなくコーディング工数を大幅に削減することができました。</p>
<h2>まとめ</h2>
<p>ChatGPTは会話形式で利用されることが多く注目を集めていますが、その高い思考能力を活用することで、これまで面倒だったり不可能であったタスクを簡単に解決できるようになります。私たちのプロジェクトでは、膨大な商品データを新しいカテゴリに短期間で分類し直すという面倒な課題を、ChatGPTを活用することで解決することができました。</p>
<p>また、OSSのEmbeddingモデルやマルチGPUの活用、高速な近傍検索が可能なベクトルデータベースの採用、ChatGPTでの予測の高速化、Numbaを用いた処理の高速化など、様々な工夫を行うことで、限られた時間とリソースの中でも最大限の成果を出すことができました。</p>
<p>今回の事例が、ChatGPTをはじめとする大規模言語モデルの可能性の一端を示し、皆様のプロジェクトの参考になれば幸いです。ぜひ、様々な場面でLLMを活用し、これまでは難しかった課題にチャレンジしてみてください。</p>
<h3>Refs</h3>
<ol>
<li><a href="https://engineering.mercari.com/blog/entry/20230612-cf-similar-item/">協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み</a></li>
<li><a href="https://platform.openai.com/docs/guides/text-generation">OpenAI API</a></li>
<li><a href="https://about.mercari.com/press/news/articles/20221128_threebillion/">フリマアプリ「メルカリ」累計出品数が30億品を突破</a></li>
<li><a href="https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm">k-nearest neighbors algorithm</a></li>
<li><a href="https://platform.openai.com/docs/guides/embeddings">OpenAI Embeddings API</a></li>
<li><a href="https://huggingface.co/spaces/mteb/leaderboard">Massive Text Embedding Benchmark (MTEB) Leaderboard</a></li>
<li><a href="https://github.com/oshizo/JapaneseEmbeddingEval">JapaneseEmbeddingEval</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-large">intfloat/multilingual-e5-large</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-base">intfloat/multilingual-e5-base</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-small">intfloat/multilingual-e5-small</a></li>
<li><a href="https://huggingface.co/cl-nagoya/sup-simcse-ja-large">cl-nagoya/sup-simcse-ja-large</a></li>
<li><a href="https://www.sbert.net/">Sentence-Transformers</a></li>
<li><a href="https://github.com/spotify/voyager">Voyager</a></li>
<li><a href="https://arxiv.org/abs/2201.11903">Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al. 2022)</a></li>
<li><a href="https://github.com/langchain-ai/langchain">LangChain</a></li>
<li><a href="https://github.com/rapidsai/cudf">rapidsai/cudf</a></li>
<li><a href="https://numba.pydata.org/">Numba: A High Performance Python Compiler</a></li>
</ol>


LLMを活用した大規模商品カテゴリ分類への取り組み

<h2>概要</h2>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaが、2024年4月8日(月)〜10日(水)に、ベトナム・ハノイで開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>にて、発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 OSSであることに重きを置いており、テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Unleashing the Potential of AI Through Search Ranking: How Mercari Uses Data &amp; Science to Drive Marketplace Growth（検索ランキングでAIの可能性を解放する：メルカリがマーケットプレイスの成長を促進するデータサイエンスの活用法）』</li>
<li>発表時間：現地時間：2024年4月9日（火）11時00分 〜 11時35分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/8985">https://eventyay.com/e/55d2a466/session/8985</a></li>
</ul>
<p>メルカリMLチームは、昨年シンガポールにて開催されたFOSSASIA Summit 2023にも参加し、メルカリに機械学習オペレーション（MLOps）の実装について発表しました。今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長を促すMLソリューションについて掘り下げます。</p>
<h2>研究の背景</h2>
<p>競争の激しい現在のEコマース市場において、効果的な検索ランキングシステムは必要不可欠なものとなっています。日本最大のC2Cマーケットプレイスであるメルカリでは、数百万人のお客さまに、最高の体験を提供すべく、マーケットプレイスでの取引や、商品との出会いの最適化・エンゲージメント促進のために、検索へのAI活用を行っています。</p>
<p>本発表は、メルカリの検索ランキングシステムの構築・改良の取り組みについて紹介します。データサイエンティスト、機械学習エンジニア、そしてeコマースの検索ランキングの開発に興味のある方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長促進に効率的なMLソリューションの開発に必要な主要ポイントをデータセットの構築、モデルの追跡とモニタリング、モデルの構築、継続的な反復、の4点を取り上げ解説します。 </p>
<h2>概要</h2>
<ul>
<li>データセットの構築：問題の明確化・理解は、解決策を決定する上で非常に重要なことです。常に進化するeコマース検索の現場では、使用される学習データを常に革新し、適応させ、洗練させることが重要です。ChingisとTeoは、ユーザーの行動、アイテムの属性、市場のダイナミクスを組み込んだ、豊富で多様なデータセットの構築方法のデモを行います。</li>
<li>モデルの追跡とモニタリング：私たちがどのようにMLランキング・モデルのトラッキングとモニタリングに取り組んでいるのか、ロバストな評価のために開発した主要なカスタム指標も含めてご紹介します。</li>
<li>モデルの構築：問題を明確化し、学習の進行状況を監視するプロセスを設定した後、私たちのモデル構築プロセスについて技術的な観点で掘り下げます。ランキング学習とは何か、また最適なパフォーマンスを実現するための私たちの目標を探ります。</li>
<li>過去データからバイアス取捨：最後に、既存の問題を認識することは、継続的な反復改善への第一歩となります。ChingisとTeoは、反実仮想機械学習（Counterfactual Machine Learning）を通じたランキング・モデルにおける潜在的なバイアスにどのように対処するか、解説説明します。また、バイアスの偏りが、学習プロセスにどのような影響を与えるか、どのような要因が特定のユーザー行動を引き起こす可能性があるかを紹介します。</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリでは、AIを活用してUI/UX改善のみならず、サービスをより安心・安全に使える仕組みを提供してきました。そして、今後はさらなるAI活用を進め、循環型社会の実現を目指していきます

世界の様々な購買をより簡単に、<br />高速に、安全にするためのAI

AI技術をリードする専門チーム

私たちは、メルカリのAIを開発するエンジニアリング組織です。世界各国から集ったメンバーが肩を並べ、共に課題解決に取り組んでいます。

Utilize AI to change
billions of lives.

Latest Updates

メルカリAIチームの研究「Improving Visual Recommendation on E-commerce Platforms Using Vision-Languag…

メルカリAIチームの研究「Zero-Shot Retrieval for Scalable Visual Search in a Two-Sided Marketplace」…

メルカリAIチームの研究「Vision Language Modelを用いたEコマースプラットフォームにおける画像推薦の性能…

メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択さ…

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in …

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIG…

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

About

People

Utilize AI to changebillions of lives.

Latest Updates

メルカリAIチームの研究「Improving Visual Recommendation on E-commerce Platforms Using Vision-Languag…

メルカリAIチームの研究「Zero-Shot Retrieval for Scalable Visual Search in a Two-Sided Marketplace」…

メルカリAIチームの研究「Vision Language Modelを用いたEコマースプラットフォームにおける画像推薦の性能…

メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択さ…

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in …

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIG…

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

About

People

Utilize AI to change
billions of lives.