Blog

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニアTeofilo Narboneta ZosaとJehandad Kamalによる論文「LLMOps for Eval-Driven Development at Scale（大規模な評価駆動開発のためのLLMOps）」が、FOSSASIA Summit 2025に採択されたことをお知らせいたします。</p>
<p>FOSSASIA Summitは、アジアのフリー・オープンソースソフトウェア（FOSS）のコミュニティをターゲットにした年次イベントです。このサミットは、開発者、エンジニア、コミュニティメンバー、企業リーダー、オープンソース愛好者などが集まり、最新の技術トレンドやオープンソースプロジェクトを共有し、学ぶ場として設けられています。</p>
<p><iframe loading="lazy" width="560" height="315" src="https://www.youtube.com/embed/GyHY4g93kPk?si=pue4UE96XKbVUqpv" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe></p>
<h2>発表内容のポイント</h2>
<p>メルカリは、DevOps、MLOps、そして最近ではLLMOpsの開発を推進しており、エンジニアの開発速度と品質にたいして大きな貢献をしており、ソフトウェアの品質とエンジニアの開発体験の両面で効果を生んでいます。本講演では、プロンプト管理、評価、LLMアプリケーションの可観測性から、最も野心的なプロジェクトの成功に重要だったLLMOpsの重点分野とOSSソフトウェアについて掘り下げます。これらのプロジェクトはすでに、日本最大のC2C eコマースマーケットプレイスであるメルカリの2300万人以上のユーザーに比類のない顧客価値を提供しています。</p>
<h2>研究の背景</h2>
<p>過去10年間で、DevOpsはソフトウェア開発のスタイルを変革し、堅牢で保守可能なソフトウェアをもたらしました。信頼性が高く、短時間での開発を可能にしています。ここ数年では、同じDevOpsと同じく、ML Opsという考えがAI開発にも適用されています。最初はMachin Learning領域から開始され、現在は生成AIにまつわるアプリケーションにも適用されています。目標は変わらず、高速かつ大規模に高品質なソフトウェアを提供することです。</p>
<h2>研究概要</h2>
<p>メルカリのAI/LLMチームのメンバーは、今回スケールにおいて高品質な生成AIアプリケーション開発のための手法を紹介しました。具体例として、メルカリのAI出品機能を取り上げ、メルカリのAIエンジニアと専門家がどのように効果的に協力し、評価に基づく開発や密接なコラボレーションを通じ、AI開発のサイクルを強化し、お客さまにとって価値のある機能提供に繋げているのか紹介しました。</p>
<h2>Eliza Teamについて</h2>
<p>メルカリのElizaチームは、AIとLLM（大規模言語モデル）に特化したチームであり、メルカリ社内における生成AIの活用とLLMの実用化、さらには既存のAIテクノロジーを活用して、より便利なサービスを構築することを目指しています。社内外の生産性向上および新しいAIツールの開発と展開における役割を担っています。</p>


メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニア 大橋 耕也・関根 翔・Deddy Jobson・Jie Yangによる論文「<a href="https://drive.google.com/file/d/1gW4ocpkH3To1kgEbg8ciXwcb6V4tRQi0/view">Strategic Coupon Allocation for Increasing Providers' Sales Experiences in Two-sided Marketplaces</a>」が、データマイニング分野の国際会議である<a href="https://kdd2024.kdd.org/">KDD2024</a>の<a href="https://sites.google.com/view/tsmo2024/home">Workshop on Two-sided Marketplace Optimization（TSMO 2024）</a>に採択され、発表を行いましたことをお知らせいたします。</p>
<p>本研究はメルカリの研究開発組織である『<a href="https://r4d.mercari.com/">mercari R4D</a>』の支援を受け、筑波大学との共同にて研究を行いました。</p>
<p>KDDは、データマイニング分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。本年は、スペインのバルセロナにて、2024年8月25日から29日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<p><a href="https://drive.google.com/file/d/1gW4ocpkH3To1kgEbg8ciXwcb6V4tRQi0/view">Strategic Coupon Allocation for Increasing Providers' Sales Experiences in Two-sided Marketplaces</a></p>
<p>今回の発表では、できるだけ多くの出品者に商品の売却体験を提供するためのクーポン配布戦略を提案しました<br />
売却体験を通じて満足度が向上すれば、ユーザーは積極的に出品を続ける可能性が高まり、プラットフォームの魅力や、出品される商品の量と多様性が、さらに向上することが期待されます</p>
<h2>研究の背景</h2>
<p>メルカリのようなCtoCマーケットプレイスでは、プラットフォーマーが直接的なサプライチェーンを持っていないため、出品商品の量や種類を増やすためには、個人の出品者の自発的な出品活動を促進する必要があります。出品行為には、商品の選定や撮影、売却後の梱包など一定の労力がかかるため、出品者がアクティブに行動するためには強いモチベーションが不可欠です。出品モチベーションに影響を与える要因は個人によって異なりますが、最も根本的かつ重要な体験は「売却体験（商品が売れること）」であると考えています。そのため、できるだけ多くのユーザーに売却体験を提供することが重要です。</p>
<p>しかし、メルカリのような二面市場（Two-sided market）においては、プラットフォーマーによる適切な介入が行われないと、トランザクションが一部のユーザーに偏るリスクが指摘されています。そこで、我々Data Scienceチームでは、最もよく用いられるマーケティングツールのひとつであるクーポンを活用し、トランザクションの偏りを解消することで、より多くの出品者に売却体験を提供することを目指しました。</p>
<h2>研究概要</h2>
<p>本論文では、売却体験ユーザー数をKPIとしたクーポン配布戦略の最適化手法を提案しました。一般的に、クーポン配布を特定のKPIに対して最適化するためには、対象ユーザーへのメリハリのある介入が必要となります。Uplift modelingと数理最適化を活用して、効率的なクーポン配布戦略を提案しました。</p>
<p>提案手法を活用することで、従来の方法に比べ、より多くの出品者が売却体験を得られることをメルカリの実データで確認しました。この手法の運用により、多くの出品者の満足度が向上し、個々の自発的な出品行動の促進が期待されます。</p>
<h2>Data Science Teamについて</h2>
<p>メルカリのData Scienceチームでは、統計学、機械学習、数学的最適化などの技術を駆使して、顧客理解分析やマーケティング活動の効率化、さらにはプロダクト機能の開発を行っています。</p>
<h2>mercari R4Dについて</h2>
<p>「<a href="https://r4d.mercari.com/">mercari R4D</a>」は2017年12月に設立した、社会実装を目的とした研究開発組織です。「まだ見ぬ価値を切り拓く」というミッションのもと、メルカリが目指す限りある資源を循環させ、あらゆる人が可能性を発揮できる社会の実現に向けて、産業界やアカデミア、国といった枠を超えてコミュニティをつなぎ、科学技術の力で複雑な社会課題を解決するCo-Innovation的アプローチを推進しています。</p>


メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

<p>この度、メルカリAIチームのエンジニアYilin LiとDeddy Jobsonによる論文「<a href="https://dl.acm.org/doi/10.1145/3665939.3665969">LLMs as an Interactive Database Interface for Designing Large Queries</a>」が、データマネジメント分野の国際会議「<a href="https://2024.sigmod.org/">SIGMOD 2024（The ACM Special Interest Group on Management of Data）</a>」の<a href="https://hilda.io/2024/SIGMOD%202024">HILDA Workshop</a>に採択されたことをお知らせいたします。</p>
<p>SIGMOD 2024 はデータマネジメントの分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催49回目である今年の「SIGMOD2024」は、チリ、サンティアゴにて2024年6月9日から14日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<ul>
<li>現在のText2SQLは、メルカリの規模のデータベースに対して拡張されると、不正確なクエリを生成してしまうことがあります</li>
<li>今回の論文では、SQLクエリを反復的に微調整するために、人間のフィードバックを取り入れるシステムを構築しました</li>
<li>次のイテレーションでは、Schema Linkingを改善するためにナレッジグラフを活用を検討しています</li>
</ul>
<h2>研究の背景</h2>
<p>大企業において、SQLクエリの作成は時間を要し、骨の折れる作業になります。必要なデータは複数のテーブルに散在しており、またこれらのデータは常に更新されるため、専門外のメンバーなどが一回限りのデータ分析タスクのためにクエリを作成することは極めて難しくなります。</p>
<h2>研究概要</h2>
<p>メルカリにおけるデータの民主化を進めるべく、テキストからSQLへの変換を行うLLMを利用したソリューションを実装します。すでに既存の多くの方法が存在する一方で、検出が困難なエラーを引き起こす傾向も見られました。そのため、Text2SQLを一回限りの生成プロセスとして扱うのではなく、人間が介入するインタラクティブな問題として捉えます。我々は、クエリをエンドユーザーに返す前に検証ステージと人間のフィードバックを含むシステムを構築します。今回の提案手法は、エラーを減少させ、より有用なクエリを生み出すことができます。</p>
<h2>Customer Understanding Teamについて</h2>
<p>Customer Understandingチームは、統計学、数理最適化、大規模言語モデルなど、様々な技術を活用し、メルカリグループのお客さまの行動を分析し、カスタマージャーニーとLTVを最適化するための戦略の提案を行っています。</p>


メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

Interview

<p>現在、メルカリのML組織には、多くのMLエンジニアが所属しています。しかし、MLエンジニアは同一部署に所属しているわけではなく、社内の様々な部署に分散して所属し、それぞれのチームが直面している課題に対して開発を推進しています。</p>
<p>しかし、ML組織の分散・拡大にともない、メルカリのMLチームは、ナレッジシェアやチーム間連携がしづらいといった課題を抱えていました。そうした壁を超えるべく、2022年より、現場のエンジニアメンバーによる旗振りで、「Mercari AI/ML Guild（以下、ML Guild）」が設立。ML Guildは、MLエンジニアの情報共有を目的に、月に1回必ず継続して運営されています。</p>
<p>現場のエンジニアのアイディアにより取り組み開始し、その後定期的な開催を行っているML Guildについて、その設立と運営をリードしてきたエンジニアAbhinav Kumar ・Paul Willot・ 西岡 祐輔の3名に、設立の背景や、組織上の課題がML Guildによってどう変化してきたか、話を聞きました。</p>
<h2>プロフィール</h2>
<h3>Abhinav Kumar (@Abhinav)</h3>
<p>2018年にML Engineerとしてメルカリに新卒入社。入社後、画像検索チームに所属し、その後Data Science Backendチームに異動し、チームのEM（Engineering Manager)） / TechLeadを担当し、パーソナライゼーション機能の開発を推進。直近で、広告エンジニアリングチームに加わり、メルカリ広告インフラストラクチャの開発を行う。ML とバックエンドへの関心に加えて、チーム効率化にも取り組む。</p>
<h3>Paul Willot (@meatboy)</h3>
<p>2021年メルカリに入社。DeepLearningに専門性を持つ。モデリングや大規模データの処理から、ランタイムの最適化やクラスタ展開まで、MLスタック全般の経験を持ち、研究と開発間のギャップを埋めている。メルカリ入社前は、FinTech企業で大規模なリアルタイム予測モデルの開発や、日本の大企業に対するコンサルティングを担当していた。</p>
<h3>西岡 祐輔 | Yusuke Nishioka (@ysk24ok )</h3>
<p>インターネット広告会社で広告配信アルゴリズムの改善やデータ基盤の立ち上げ、AIスタートアップで音声認識プロダクトの開発などを経て、2021年にメルペイに入社。2022年にメルカリに異動し、現在はML Platformの機能拡張や保守に携わる。</p>
<p><strong>ーまず、みなさんの自己紹介と、メルカリで担当している仕事について教えてください。</strong></p>
<p><strong>Abhinav：</strong>メルカリには5年半前に、新卒として入社しました。最初の2年は商品画像検索のMLチームで働いた後、TnS（Trust &amp; Safety）チームに異動。その頃、PMと一緒にデータ・サイエンス・バックエンドチームの立ち上げを経て、EM（Engineering Manager)）を務めました。現在は、Ads Engineeringという新しいチームに所属しています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/a0e7a8ae-mercari-06706-1024x682.jpg" alt="" /></p>
<p><strong>meatboy : </strong>MLエンジニアとしてメルカリに入社し、もうすぐ3年になります。入社以来ずっと、出品のプロジェクトに携わっています。およそ1年半の間、私はチームで働き、検索エンジンを用い、精進と買い手のマッチングを容易にするための取り組みを行ってきました。</p>
<p><strong>ysk24ok：</strong>私は2021年にメルペイに入社し、2022年にメルカリへ異動。現在はMLプラットフォームのチームに所属し、MLエンジニアの業務を効率化するためのインフラやソリューションを提供しています。</p>
<p><strong>ー「Mercari AI/ML Guild（以下、ML Guild）」の設立について詳しく教えてください。</strong></p>
<p><strong>Abhinav：</strong>ML Guildは2022年11月に始まりました。私がデータサイエンスチームのEMを務めていた時に、MLチームのEMである梅澤さん（@umechan）に相談し、ML Guildを実験的に開始しました。<br />
新しい組織構造に組織体制が変化し、以前はMLチームは1つのチームでしたが、キャンプ体制（Camp System）という、4～5つの目的に応じた組織が編成されました。MLエンジニアは各キャンプに所属し、現在に至るまで、組織的には分散した状況が続いています。<br />
以前はMLメンバー間でも多くのコミュニケーションが生まれていたのですが、キャンプ体制後に入社したメンバーも増え、チームを越えたコミュニケーションが生まれづらい状況になっていきました。事前アンケートを実施したところ「現在のMLチーム全体のコミュニケーション構造に満足していない」というメンバーが8割もいたのです。そこで、『Mercari AI/ML Guild』というコンセプトを立ち上げ、チーム間のコミュニティ・トラストを作ることにしました。まずは、各チームと、そのメンバーを知ることを目的としました。<br />
また、ML Guildはナレッジ共有の促進も目的としています。MLのプロジェクトは、開始から実行までの時間が非常に長いため、フィードバックを共有し、プロジェクトで起こっていることを共有し、ベストプラクティスを共有するためのプラットフォームが必要なことは明らかでした。新しく入ったMLのメンバーは、どこで、誰に、何を聞けばいいのか、不明瞭な状態だったんですよね。</p>
<p><strong>meatboy :</strong> ML Guild以前にも、ディスカッションのためのグループは複数存在していましたが、それらも分散しており、1つの大きなグループではありませんでした。MLの学術研究や、検索等、特定のトピックに関するものが多く、包括的な取り組みに関して議論ができる場はありませんでした。ML Guildでは、トピックを特定のものに絞ることはせず、機械学習の様々な分野の知見を共有し、最新の情報を得る機会を提供しています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/d9948a63-mercari-06685-1024x682.jpg" alt="" /></p>
<p><strong>ーML Guildは、どうやって運営しているのですか？</strong></p>
<p><strong>Abhinav：</strong>ML Guildはここにいる3名をはじめ、複数のメンバーで共同運営されていますが、実は、貢献したい人がボランティアとして参加してくれています。現在の構成は、各キャンプを代表して数名のリーダーがおり、そのリーダーが組織としての目標設定および、ML Guildのエフォートの方針を決定しています。</p>
<p><strong>meatboy :</strong> 現時点では各運営メンバーの責任内容は同一です。つまり、全員がメインオーガナイザーです。例えば、次のイベントのスケジューリングは誰がやるかを持ち回りで決めています。例えば、チームビルディングや雑談のためのイベントなどのイベントを開催することもあります。</p>
<p><strong>Abhinav：</strong>基本的にはQごとに3つの活動を交互に行っています。Qの1回目は各チームのOKR共有、2回目のセッションでは、プロジェクトやベストプラクティスの共有・アナウンスメント、そして3回目は、チームビルディングのための企画を行っています。また @meatboy が3ヶ月ごとにチームビルディングのパーティーを企画し、オフラインで集まるような機会も設けています。</p>
<p><strong>ysk24ok：</strong>例えば、プラットフォームチームが何か新しいソリューションを開発してそれを各チームに使ってもらうためには、各チームの既存の仕組みからマイグレーションしてもらう必要がある際など、アナウンスの場としても機能しています。</p>
<p><strong>ーML Guildを設立したこの数年間で、組織上の課題は解決されたのでしょうか？　</strong></p>
<p><strong>meatboy：</strong>いくつかの問題に関しては明らかに改善してきています。もちろん、もっと緊密な協力が必要な場面はありますし、まだまだ改善したいポイントもありますが、当初私たちが抱いていた課題に関しては、ML Guildは本当に役に立ちました。定期的に他のチームでも起こっていることを知ることができるのは、とてもいいことだと思います。<br />
例えば、個人的な体験として、ML Guildを通じてあるチームがすでに同様のプロジェクトに取り組んでいることを知り、彼らに話を聞きに行って、モデルや知識などを交換することができました。このように、ML Guildを通じてシナジーが生まれた経験が何度もありました。</p>
<p><strong>ーMLエンジニアとして、ML Guildの取り組みを通じて変化があれば教えてください。</strong></p>
<p><strong>meatboy :</strong> 私は社内のプラットフォームチームとも定期的にコミュニケーションを取り合っていますが、多くのメンバーにとって、そうした機会は少ないです。しかし、我々はしばしば新しいサービスを開発するため、既存のシステムを適応させる必要があります。あなたがすでに同様の改修を行ったことを知っている場合や、誰に尋ねるべきか知っている場合、これはとても役に立ちます。私はそれがメルカリのMLメンバーの多くを助けたと思います。<br />
そして、エンジニア同士の直接の交流も盛んです。私は、入社当時出品のプロジェクトを担当していましたが、その後サーチ部門に移りました。出品のサイズについて疑問を持つことが多かったのですが、ML Guild後は、過去に担当したことがあるエンジニアと1on1で知識を共有することができ、とても役に立ちました。</p>
<p><strong>Abhinav：</strong>この1年間、1回のセッションに平均25人以上のMLエンジニアが参加しています。また、一度セッションに参加した人は、次のセッションにも参加しています。一般的に、このような大規模なセッションを開催する場合、継続率は基本的に低くなります。個人的な意見ですが、このように定着率を維持できている要因として、ML Guildの頻度が挙げられます。現在は月に1回という頻度のため、忙しいメンバーもリラックスして参加することができているのかなと感じます。<br />
2つ目は、ML Guildの開催をスキップせず、毎月開催を継続して行っています。不定期ではないことで、毎月行われているイベントだと認識してもらえる。そして、最も重要なことですが、ML GuildはEMではなく、現場のMLエンジニアが主導しています。<br />
私がメルカリに入社した当時、同じようなコンセプトで、情報共有のための会議がありましたが、そのほとんどはEMが主導していました。しかし、ML Guildでは、エンジニアは自分の担当したプロジェクトと、そこで得られたインサイトを共有する機会がある。また、そうした発表を通じて、多くの人と話すことができるので、コラボレーションが生まれていると思います。</p>
<p><strong>ysk24ok :</strong> プラットフォーム・エンジニアとして、私たちは時々、将来のコラボレーションについて、ディスカッションのための場を設けています。そうした際に、もし私が誰とも面識がないチームとの間で1から会議体を設定するのはハードルがあると思うのですが、ML Guildのおかげで、各チームのメンバーを知る機会が持てていて、助かっています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/f7f7511c-mercari-06600-1024x682.jpg" alt="" /></p>
<p><strong>ーML Guildとして、今後のビジョンがあれば教えてください。</strong></p>
<p><strong>Abhinav：</strong>短期的な目標をいくつか挙げますと、私たちのペースを維持し、継続参加を維持し、この取り組みを継続していきたいと思っています。中長期的な目標は、ML Guildの場から、新しいビジネス・プロジェクトを生み出すことです。</p>
<p><strong>meatboy ：</strong>ML Guildから、チーム横断的なプロジェクトを組成し、よりビジネスにインパクトを与えたり、外部のコンペティションに参加したりすることができると考えています。将来的にはプラットフォームとなることを目指せるかもしれない。</p>
<p><strong>ysk24ok :</strong> そうですね。これは、短期的な目標か長期的な目標かはわかりませんが、チームビルディングのセッションでは、特定のメンバーだけが参加しましたが、参加しないメンバーもいました。現在のML Guildも同様で、出席はしているが、自分たちのプロジェクトについて発表しないメンバーもいます。今後どのように変化していくか見て行きたいです。</p>
<p><strong>ーML Guildを運営する上で、当初は苦労された点はありましたか？</strong></p>
<p><strong>Abhinav：</strong>私は、最初からこの取り組みを支えてくれた@meatboy と @ysk24ok のサポートに本当に感謝しています。特に最初に苦労したのは信頼関係でした。<br />
なぜこのような新しいセッションを行うのか？なぜ必要なのか？という点が浸透しておらず、みんな自分の仕事に忙殺されているため、なかなか参加してもらえませんでした。そのため、まず各MLチームのEMに声をかけて、ML Guildの提案に対するフィードバックをもらいました。こうして少しずつ信頼関係を築くことで、EMから各チームのメンバーにも参加を呼びかけてもらえるようになりました。</p>
<p><strong>meatboy ：</strong> 当初は、メンバーに参加してもらうためにたくさんの告知をしなければならないことも多かったですね。そうした地道な取り組みを経て、参加状況も改善してきました。<br />
ML Guildの運営を通じて私たちが得た学びのひとつは、チームビルディングを目的としたイベントと、有益な知見共有のイベントの適切なバランスを保つことです。<br />
そして、「このミーティングの目的は何か？」と、問い続ける必要があると思います。今後もみんなの時間を正当化できるよう、有益なものにし続ける必要があると感じています。</p>
<p><strong>Adbinav： </strong>今後、さらに新しいメンバーにも入ってほしいですね。ML Guildは自主的に運営されているため、ローテーションで行いつつも、フレッシュな視点でこのスキルを維持できるように、新しいメンバーを迎えたいと考えています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/06/9d3a7180-screenshot-2024-06-28-at-23.43.38.png" alt="" /></p>


メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

<h2>概要</h2>
<p>この度、メルカリAIチームの元インターン生である須賀 幹太（早稲田大学先進理工学研究科）およびメルカリAIチームのエンジニアである宮本 琳太郎・桂 尚輝・梅澤 慶介が、論文「過去クエリを介した関連文書検索システム」について、言語処理学会第30回年次大会（NLP2024）にてポスター発表を行いました。</p>
<p>言語処理学会は、自然言語処理（NLP）の研究者・技術者が集う国内最大級の学会で、 第30回にあたるNLP2024は、2024年3月11日から3月15日まで兵庫県神戸市にて開催されました。</p>
<h2>研究の背景</h2>
<p>メルカリでは、お客さまのお問い合わせ対応や、不正検知のためのツールを内製で開発しています。特に、お困りごとを抱えたお客さまを素早く解決に導くことは、お客さま満足度の向上の観点でも非常に重要です。</p>
<p>もちろんお客さまによってお困りの状況や背景は異なりますが、過去にいただいたお問い合わせの中には類似した内容もあり、これまでに蓄積された情報を有効活用することで、解決時間の削減を目指し、今回の手法を提案しました。</p>
<h2>研究概要</h2>
<p>メルカリではサービス内にお問い合わせフォームを設けており、お客さまにお困りごとがあった際に問い合わせをお送りいただけるようになっています。メルカリでは多数のお問い合わせをいただいており、お客さまの困りごとに素早く対応するためにも、解決時間の効率化が求められています。</p>
<p>お問い合わせの多くは、過去の別のお問い合わせに類似しており、対応方法を検討するべく、過去の類似したお問い合わせを参照することは業務効率改善の糸口となります。</p>
<p>しかしながら、サービス運営上、対応マニュアルやシステムの変更は一定発生するため、過去のお問い合わせを参照するだけでは不十分な状況もあります。したがって、本研究では、過去のお問い合わせを用い、現行のヘルプガイドを検索する手法を提案し、実験では複数の条件を変更した場合の結果の比較を含めて報告しました。</p>
<h2>発表内容のポイント</h2>
<p>本論文では、お客さまがメルカリでお困りごとがあった際に、カスタマーサポートにお送りいただくお問い合わせの文章と、過去の会話履歴データを用い、お困りの状況に対する解決策を既存のヘルプガイドと関連付けて検索する手法を提案します。</p>
<p>今回の提案手法では、お客さまのお問い合わせを、文書埋め込みモデルを用いてベクトル化しました。同様にベクトル化された過去のお問い合わせ履歴から、高い類似度のお問い合わせを収集し、そのお問い合わせの返信文と高い類似度を示すヘルプガイドを多数決でリンクさせることで、高い検索精度を達成しました。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/05/cf2bad72-image1-724x1024.png" alt="" /></p>
<p><center>今回発表を行ったポスター<br />
</center></p>
<h2>発表者のコメント</h2>
<h3>須賀 幹太 | メルカリ AIチーム 元インターン</h3>
<p>今回の取り組みに関して、学会という場で意見を直接交換することによって新たな改善点が見つかり、成果を対外的に発表していくことの重要性を実感しました。</p>
<p>また、様々な発表を見る中でAI分野の技術的進歩の速さを痛感し、よりキャッチアップに努めなければいけないと感じました。インターンでありながらこのような発表機会をいただき、とても貴重な経験となりました。ありがとうございました。</p>
<h3>桂 尚輝 | メルカリ ML Engineer</h3>
<p>今年の言語処理学会の年次大会では、ポスター発表に加え、メルカリのスポンサーブースを設け、国内の学生や研究者、エンジニアと議論を行うことができました。</p>
<p>企業の研究者やエンジニアからは、お問い合わせに関する言語モデルの利用に関して、直面している課題が共通の認識であることが多いと感じました。本会議では、有意義なインプットと議論の場となりました。議論を通じて得られた知見を、メルカリの事業に活かしていきます。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/05/af108a4c-image2-1024x576.jpg" alt="" /></p>
<p><center><br />
現地でのメンバーの様子<br />
</center></p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2024/05/9581bddd-gixoxqxbqaanecv-1-1024x576.jpeg" alt="" /></p>
<p><center><br />
スポンサーブースの様子<br />
</center></p>
<h2>CRE（Customer Reliability Engineering） ML Teamについて</h2>
<p>メルカリのカスタマーサポート領域において、機械学習を用いた内製ツールの開発・業務効率化を行っています。</p>


メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

<p>こんにちは、メルカリの生成AIチームで ML Engineer をしている <a href="https://twitter.com/MLBear2">ML_Bear</a> です。</p>
<p>以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。</p>
<p>ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。</p>
<p>本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについて説明します。</p>
<h2>課題</h2>
<p>まずは今回のプロジェクトの背景と技術的な課題を簡単に説明します。</p>
<p>メルカリは2024年にカテゴリリニューアルを行い、階層構造を見直すとともに商品カテゴリの数を大幅に増やしました。しかしカテゴリ数やその階層構造がかわるということは、それに紐づく商品のデータも変更する必要があります。</p>
<p>通常であれば商品のカテゴリ分類は機械学習モデルやルールベースモデルを利用します。しかし今回のケースでは過去の商品に対する「新しいカテゴリ階層での正解カテゴリ」がわからないため、機械学習を使用した分類器を作成することができませんでした。また、カテゴリ数が非常に多いため、ルールベースモデルの構築も困難でした。そこで、この課題に対してLLMを活用できないかというアイディアが出てきました。</p>
<h2>解決策: LLMとkNNによる2ステージ構成の予測アルゴリズム</h2>
<p>結論としては以下のような2ステージ構成のアルゴリズムを組むことで今回の課題に対応しました。</p>
<ol>
<li>ChatGPT 3.5 turbo (OpenAI API[2])で過去商品の一部の正解カテゴリを予測する</li>
<li>1.を学習データとして過去商品のカテゴリ予測モデルを作成</li>
</ol>
<p>全てをChatGPTで予測できれば楽だったのですが、メルカリの過去商品は30億商品を超えるため[3]、全てをChatGPTで予測するのは処理時間的にもAPIコスト的にも不可能でした。そのため、紆余曲折を経てこのような2ステージのモデル構成としました。(すべての商品をChatGPT 3.5 turboで分類するとコスト見積もりは約100万ドル、処理時間見積もりは1.9年という非現実的な数字でした)</p>
<p>以下にモデルの内容を簡単に説明します。詳細については「工夫した点」で述べるため、一旦はシンプルな解説に留めます。</p>
<h3>1. ChatGPT 3.5 turbo (OpenAI API)で過去商品の一部の正解カテゴリを予測する</h3>
<p>まず、過去に出品された商品を数百万点サンプリングし、ChatGPT 3.5 turboにその商品の「新しいカテゴリ構成での正しいカテゴリ」を予測させました。 具体的には、各商品の商品名や商品説明文、元のカテゴリ名をもとに新しいカテゴリの候補を10個程度作成し、その候補の中から正解を答えさせました。</p>
<h3>2. 1.を学習データとして過去商品のカテゴリ予測モデルを作成</h3>
<p>次に、1. で作ったデータセットを正解データとして、シンプルな kNN モデル[4] を作成しました。</p>
<p>具体的には、まず、1.で正解カテゴリを予測した商品のEmbeddingと正解カテゴリをベクトルデータベースに保存しておきます。その後、予測したい商品のEmbeddingを元に、ベクトルデータベースから類似商品をX個抽出し、そのX個の商品の最頻カテゴリを正解カテゴリとしました。</p>
<p>Embeddingは各商品の商品名、商品説明文、メタデータ、元のカテゴリ名などを連結した文字列をもとに計算しました。より複雑な機械学習モデルも検討しましたが、シンプルなモデルで及第点の性能が出たためシンプルなモデルを採用しました。</p>
<h2>工夫した点</h2>
<p>さて、ここからは今回のプロジェクトで工夫した点をご紹介します。以下のような点を工夫したので、ひとつづつ説明します。</p>
<ul>
<li>OSSのEmbeddingモデルの活用</li>
<li>Sentence Transformers ライブラリによるMulti-GPUの活用</li>
<li>Voyager Vector DBによるCPU上での高速な近傍検索</li>
<li>max_tokensとCoTの活用によるLLM予測の高速化</li>
<li>Numba・cuDFの活用</li>
</ul>
<h3>1. OSSのEmbeddingモデルの活用</h3>
<p>第2ステージのモデル (kNN) では商品のEmbeddingの計算が必要でした。自前でニューラルネットワークを組むことも可能でしたが、OpenAI Embeddings API (<code>text-embedding-ada-002</code>) [5]で十分な精度が出ることが確認できたので、当初はこのAPIを利用する方針としていました。</p>
<p>しかし、試算してみたところ、すべての商品にOpenAI Embeddings APIを利用するのは処理時間的にもコスト的にも少し厳しいということがすぐにわかりました。</p>
<p>そんな中、MTEB[6]やJapaneseEmbeddingEval[7]を眺めていると英語以外の言語でもOpenAI Embeddings APIに匹敵するOSSのモデルが多数あることに気づきました。自分たちで評価用データセットを作って試してみたところ、OpenAI Embeddings API同等の精度が出たためOSSのモデルを利用することにしました。</p>
<p>私たちがこのプロジェクトを行なっていた2023年10月時点のデータでは、以下のモデルが高い精度を示しており、最終的には計算コストと精度のバランスを鑑み intfloat/multilingual-e5-base を利用しました。(MTEBのランキングは常時入れ替わっているため、2024年4月現在はもっと強いモデルがあると思います)</p>
<ul>
<li>intfloat/multilingual-e5-large [8]</li>
<li>intfloat/multilingual-e5-base [9]</li>
<li>intfloat/multilingual-e5-small [10]</li>
<li>cl-nagoya/sup-simcse-ja-large [11]</li>
</ul>
<p>このように、OSSでも非常に高性能なEmbeddingモデルが存在しているため、Embeddingを利用するプロジェクトを行う場合は、シンプルな問題を作成して、OSSでも十分な性能を持つモデルがあるかどうかを確認してみることをお勧めします。</p>
<h3>2. Sentence Transformers ライブラリによるMulti-GPUの活用</h3>
<p>OSSモデルを利用することで OpenAI Embeddings APIに比べて飛躍的に処理速度が上がったものの、数十億商品を処理するにはもう少し改善が必要でした。</p>
<p>A100などの強力なGPUを利用できれば話が早かったのですが、世界的なGPU枯渇の影響を受けてか、プロジェクト実施時の2023年11-12月時点では強いGPUを掴むことはなかなか困難でした。(現在もあまり状況は変わっていないかと思います)</p>
<p>そのため、V100やL4などのGPUを複数台並列で利用して対応することにしました。幸いなことに、Sentence-Transformers[12]ライブラリを利用すると以下のようなシンプルなコードで複数台のGPUを簡単に並列化できたため、非常に助かりました。</p>
<pre><code class="language-python">from sentence_transformers import SentenceTransformer

def embed_multi_process(sentences):
    if &#039;intfloat&#039; in self.model_name:
        sentences = [&quot;query: &quot; + b for b in sentences]
    model = SentenceTransformer(model_name)
    pool = model.start_multi_process_pool()
    embeddings = model.encode_multi_process(sentences, pool)
    model.stop_multi_process_pool(pool)</code></pre>
<p>強力なGPUを大量に使えれば理想的ですが、それが難しい状況でも工夫次第で処理を高速化することができます。Sentence-Transformersのようなライブラリを活用して、限られたリソースを最大限に活用することが重要だと感じました。</p>
<h3>3. Voyager Vector DBによるCPU上での高速な近傍検索</h3>
<p>kNNを利用する際にはベクトルデータベースが必要でした。サンプリングしたとはいえ数百万商品の学習データになったため、GPUのメモリに載らない状況でした。A100 80GBなどの大きなメモリを持つGPUを使えば載ったかもしれませんが、前述の通り強力なGPUは確保が困難だったので試すことすらできませんでした。</p>
<p>そんな折、Spotify社製のVoyager[13]がCPUでも高速に動作すると聞いたので試してみたところ、実用に足る速度を簡単に実現できました。Embedding計算に比べると近傍探索の時間はそれほど影響が大きくなかったため厳密に他のプロダクトと比較していませんが、十分な速度を出すことができていました。</p>
<p>Voyagerにはメタデータ管理機能がなかったので自分たちでクライアントを書く必要がありましたが、それでも全体的には良い選択だったと思っています。</p>
<h3>4. max_tokensとCoTの活用によるLLM予測の高速化</h3>
<p>今回のプロジェクトでは ChatGPT 4 はコスト面から利用できず、ChatGPT 3.5 turboを使わざるを得ませんでした。ChatGPT 3.5 turboはコストの割に賢いとは思いますが、精度には少し不安がありました。そのため、Chain of Thoughts[14]を利用して説明を生成させることで精度向上を図りました。</p>
<p>皆さまもご存知かと思いますが、ChatGPTに説明を行わせるとずっと喋り続けることもあり、処理時間が問題となりました。そこで、<code>max_tokens</code>パラメータを利用して長い話を途中で打ち切ることで処理時間の短縮に努めました。</p>
<p>回答を打ち切ると(Function Callingの) JSONが壊れるので、LangChain[15]のllm.stream()を利用したり、もしくは自分でJSONを復元してパースする必要があり少し手間がかかります。厳密な比較はしていないものの、この手法によって処理時間短縮と精度向上の良いバランスを取れたと感じています。</p>
<p>以下がLangChainの<code>llm.stream()</code>を利用した場合のサンプルコードです。</p>
<pre><code class="language-python">from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class ItemCategory(BaseModel):
    item_category_id: int = Field(None, description=&quot;商品説明から予測したカテゴリID&quot;)
    reason: Optional[str] = Field(None, description=&quot;このカテゴリIDを選択した理由を詳しく説明してください&quot;)

system_prompt = &quot;&quot;&quot;
与えられる商品情報を元に、商品のカテゴリを予測してください。
商品のカテゴリは候補から選んでください。選んだ理由も説明してください。
&quot;&quot;&quot;
item_info = &quot; (商品データと新カテゴリ候補などを入れる) &quot;

llm = ChatOpenAI(
    model_name=&quot;gpt-3.5-turbo&quot;,
    max_tokens=25,
)
structured_llm = llm.with_structured_output(ItemCategory)
prompt = ChatPromptTemplate.from_messages(
    [
        (&quot;system&quot;, system_prompt),
        (&quot;human&quot;, &quot;{item_info}&quot;),
    ]
)
chain = prompt | structured_llm

# streamingの最後の要素だけ取り出す
# - 通常、max_tokensで回答を打ち切るとjsonが壊れてパースの処理が必要
# - langchainのstreamで実行すると常にjsonを完成させてくれるため、
#   max_tokensで回答を打ち切ってもjsonをパースする必要がない
for res in chain.stream({&quot;item_info&quot;: item_info}):
    pass

print(res.json(ensure_ascii=False))  # res: ItemCategory
# {&quot;item_category_id&quot;: 1, &quot;reason&quot;: &quot;商品名に「ぬいぐるみ」が含まれ&quot;}</code></pre>
<h3>5. Numba・cuDFの活用</h3>
<p>数十億商品を処理する際は些細な処理でも処理速度が気になるため、可能な限りすべての処理をcuDF[16]およびNumba[17]で高速化しました。</p>
<p>正直なところ Numba を書くのは苦手だったのですが、Pythonの素のコードをChatGPT 4に見せると書き直してくれるため、ほとんど自分で書く必要がなくコーディング工数を大幅に削減することができました。</p>
<h2>まとめ</h2>
<p>ChatGPTは会話形式で利用されることが多く注目を集めていますが、その高い思考能力を活用することで、これまで面倒だったり不可能であったタスクを簡単に解決できるようになります。私たちのプロジェクトでは、膨大な商品データを新しいカテゴリに短期間で分類し直すという面倒な課題を、ChatGPTを活用することで解決することができました。</p>
<p>また、OSSのEmbeddingモデルやマルチGPUの活用、高速な近傍検索が可能なベクトルデータベースの採用、ChatGPTでの予測の高速化、Numbaを用いた処理の高速化など、様々な工夫を行うことで、限られた時間とリソースの中でも最大限の成果を出すことができました。</p>
<p>今回の事例が、ChatGPTをはじめとする大規模言語モデルの可能性の一端を示し、皆様のプロジェクトの参考になれば幸いです。ぜひ、様々な場面でLLMを活用し、これまでは難しかった課題にチャレンジしてみてください。</p>
<h3>Refs</h3>
<ol>
<li><a href="https://engineering.mercari.com/blog/entry/20230612-cf-similar-item/">協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み</a></li>
<li><a href="https://platform.openai.com/docs/guides/text-generation">OpenAI API</a></li>
<li><a href="https://about.mercari.com/press/news/articles/20221128_threebillion/">フリマアプリ「メルカリ」累計出品数が30億品を突破</a></li>
<li><a href="https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm">k-nearest neighbors algorithm</a></li>
<li><a href="https://platform.openai.com/docs/guides/embeddings">OpenAI Embeddings API</a></li>
<li><a href="https://huggingface.co/spaces/mteb/leaderboard">Massive Text Embedding Benchmark (MTEB) Leaderboard</a></li>
<li><a href="https://github.com/oshizo/JapaneseEmbeddingEval">JapaneseEmbeddingEval</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-large">intfloat/multilingual-e5-large</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-base">intfloat/multilingual-e5-base</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-small">intfloat/multilingual-e5-small</a></li>
<li><a href="https://huggingface.co/cl-nagoya/sup-simcse-ja-large">cl-nagoya/sup-simcse-ja-large</a></li>
<li><a href="https://www.sbert.net/">Sentence-Transformers</a></li>
<li><a href="https://github.com/spotify/voyager">Voyager</a></li>
<li><a href="https://arxiv.org/abs/2201.11903">Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al. 2022)</a></li>
<li><a href="https://github.com/langchain-ai/langchain">LangChain</a></li>
<li><a href="https://github.com/rapidsai/cudf">rapidsai/cudf</a></li>
<li><a href="https://numba.pydata.org/">Numba: A High Performance Python Compiler</a></li>
</ol>


LLMを活用した大規模商品カテゴリ分類への取り組み

<h2>概要</h2>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaが、2024年4月8日(月)〜10日(水)に、ベトナム・ハノイで開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>にて、発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 OSSであることに重きを置いており、テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Unleashing the Potential of AI Through Search Ranking: How Mercari Uses Data &amp; Science to Drive Marketplace Growth（検索ランキングでAIの可能性を解放する：メルカリがマーケットプレイスの成長を促進するデータサイエンスの活用法）』</li>
<li>発表時間：現地時間：2024年4月9日（火）11時00分 〜 11時35分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/8985">https://eventyay.com/e/55d2a466/session/8985</a></li>
</ul>
<p>メルカリMLチームは、昨年シンガポールにて開催されたFOSSASIA Summit 2023にも参加し、メルカリに機械学習オペレーション（MLOps）の実装について発表しました。今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長を促すMLソリューションについて掘り下げます。</p>
<h2>研究の背景</h2>
<p>競争の激しい現在のEコマース市場において、効果的な検索ランキングシステムは必要不可欠なものとなっています。日本最大のC2Cマーケットプレイスであるメルカリでは、数百万人のお客さまに、最高の体験を提供すべく、マーケットプレイスでの取引や、商品との出会いの最適化・エンゲージメント促進のために、検索へのAI活用を行っています。</p>
<p>本発表は、メルカリの検索ランキングシステムの構築・改良の取り組みについて紹介します。データサイエンティスト、機械学習エンジニア、そしてeコマースの検索ランキングの開発に興味のある方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長促進に効率的なMLソリューションの開発に必要な主要ポイントをデータセットの構築、モデルの追跡とモニタリング、モデルの構築、継続的な反復、の4点を取り上げ解説します。 </p>
<h2>概要</h2>
<ul>
<li>データセットの構築：問題の明確化・理解は、解決策を決定する上で非常に重要なことです。常に進化するeコマース検索の現場では、使用される学習データを常に革新し、適応させ、洗練させることが重要です。ChingisとTeoは、ユーザーの行動、アイテムの属性、市場のダイナミクスを組み込んだ、豊富で多様なデータセットの構築方法のデモを行います。</li>
<li>モデルの追跡とモニタリング：私たちがどのようにMLランキング・モデルのトラッキングとモニタリングに取り組んでいるのか、ロバストな評価のために開発した主要なカスタム指標も含めてご紹介します。</li>
<li>モデルの構築：問題を明確化し、学習の進行状況を監視するプロセスを設定した後、私たちのモデル構築プロセスについて技術的な観点で掘り下げます。ランキング学習とは何か、また最適なパフォーマンスを実現するための私たちの目標を探ります。</li>
<li>過去データからバイアス取捨：最後に、既存の問題を認識することは、継続的な反復改善への第一歩となります。ChingisとTeoは、反実仮想機械学習（Counterfactual Machine Learning）を通じたランキング・モデルにおける潜在的なバイアスにどのように対処するか、解説説明します。また、バイアスの偏りが、学習プロセスにどのような影響を与えるか、どのような要因が特定のユーザー行動を引き起こす可能性があるかを紹介します。</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

<h2>概要</h2>
<p>メルカリMLチームのエンジニア・Lirong ZhangとMiao Caoが、2024年4月8日(月)〜10日(水)、ベトナム・ハノイにて開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>で発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリMLチームのエンジニア・Lirong ZhangとMiao Caoによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Opportunities to Address Complex Challenges in E-Commerce Search Through LLMs（eコマース検索における複雑な課題にLLMで取り組む）』</li>
<li>発表時間：2024年4月9日（火）14時45分 〜 15時10分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/9015">https://eventyay.com/e/55d2a466/session/9015</a></li>
</ul>
<h2>研究の背景</h2>
<p>eコマースの検索メカニズムは、包括的な類義語辞書がないことや、人間がアノテーションを行ったデータセットの希少性・主観性の課題など、複雑な問題にしばしば直面します。</p>
<p>こうした問題に取り組むため、メルカリの検索チームは、検索領域におけるさまざまなLarge Language Model（LLM）のアプローチを戦略的に採用してきました。</p>
<h2>研究概要</h2>
<p>本プレゼンテーションは、eコマースの検索におけるLLMベースの機能に関する調査から得られたインサイトの発表を目的としています。eコマースの検索における複雑な問題を解決するために、LLMの活用戦略・成功・そしてそのプロセスで得た学びに焦点を当て、メルカリでのこれまでの取り組みについて掘り下げます。<br />
データサイエンティスト・MLエンジニア・eコマース検索の文脈における効果的なLLMソリューションの展開の可能性に興味を持つ方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>本プレゼンテーションでは、LLMを活用して検索システムを大幅に改善した、メルカリでの最新の試みに関して、下記の3つの手法の概説を行います。</p>
<ul>
<li>
<p>オフライン評価データセットの構築： 開発の生産性を大幅に向上させるべく設計されたオフライン評価システムの実装のデモンストレーションを行います。このシステムにより、検索アルゴリズムのパフォーマンスをより合理的かつ、効率的に評価することができ、さらにアルゴリズムの改善・最適化を行うことができます。</p>
</li>
<li>
<p>類義語の生成：LLMにより、同義語辞書を強化し、様々な言語表現や地域の方言に対応する、より包括的な辞書作成のメカニズムを解明します。LLMのプラットフォームに掲載されている膨大な商品とユーザーのクエリ理解と、関連付けのために非常に重要な要素となります。</p>
</li>
<li>
<p>画質評価： 画質モデル開発のための、画像の評価・分類におけるLLM応用について説明します。本アプローチは、検索結果の品質を向上させ、より満足度の高いユーザー体験を提供します。</p>
</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリAIチームのブログです。AI技術や組織にまつわる情報などを日々発信していきます。

メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

Latest Posts

メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します