<p>こんにちは、メルカリの生成AIチームで ML Engineer をしている <a href="https://twitter.com/MLBear2">ML_Bear</a> です。</p>
<p>以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。</p>
<p>ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。</p>
<p>本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについて説明します。</p>
<h2>課題</h2>
<p>まずは今回のプロジェクトの背景と技術的な課題を簡単に説明します。</p>
<p>メルカリは2024年にカテゴリリニューアルを行い、階層構造を見直すとともに商品カテゴリの数を大幅に増やしました。しかしカテゴリ数やその階層構造がかわるということは、それに紐づく商品のデータも変更する必要があります。</p>
<p>通常であれば商品のカテゴリ分類は機械学習モデルやルールベースモデルを利用します。しかし今回のケースでは過去の商品に対する「新しいカテゴリ階層での正解カテゴリ」がわからないため、機械学習を使用した分類器を作成することができませんでした。また、カテゴリ数が非常に多いため、ルールベースモデルの構築も困難でした。そこで、この課題に対してLLMを活用できないかというアイディアが出てきました。</p>
<h2>解決策: LLMとkNNによる2ステージ構成の予測アルゴリズム</h2>
<p>結論としては以下のような2ステージ構成のアルゴリズムを組むことで今回の課題に対応しました。</p>
<ol>
<li>ChatGPT 3.5 turbo (OpenAI API[2])で過去商品の一部の正解カテゴリを予測する</li>
<li>1.を学習データとして過去商品のカテゴリ予測モデルを作成</li>
</ol>
<p>全てをChatGPTで予測できれば楽だったのですが、メルカリの過去商品は30億商品を超えるため[3]、全てをChatGPTで予測するのは処理時間的にもAPIコスト的にも不可能でした。そのため、紆余曲折を経てこのような2ステージのモデル構成としました。(すべての商品をChatGPT 3.5 turboで分類するとコスト見積もりは約100万ドル、処理時間見積もりは1.9年という非現実的な数字でした)</p>
<p>以下にモデルの内容を簡単に説明します。詳細については「工夫した点」で述べるため、一旦はシンプルな解説に留めます。</p>
<h3>1. ChatGPT 3.5 turbo (OpenAI API)で過去商品の一部の正解カテゴリを予測する</h3>
<p>まず、過去に出品された商品を数百万点サンプリングし、ChatGPT 3.5 turboにその商品の「新しいカテゴリ構成での正しいカテゴリ」を予測させました。 具体的には、各商品の商品名や商品説明文、元のカテゴリ名をもとに新しいカテゴリの候補を10個程度作成し、その候補の中から正解を答えさせました。</p>
<h3>2. 1.を学習データとして過去商品のカテゴリ予測モデルを作成</h3>
<p>次に、1. で作ったデータセットを正解データとして、シンプルな kNN モデル[4] を作成しました。</p>
<p>具体的には、まず、1.で正解カテゴリを予測した商品のEmbeddingと正解カテゴリをベクトルデータベースに保存しておきます。その後、予測したい商品のEmbeddingを元に、ベクトルデータベースから類似商品をX個抽出し、そのX個の商品の最頻カテゴリを正解カテゴリとしました。</p>
<p>Embeddingは各商品の商品名、商品説明文、メタデータ、元のカテゴリ名などを連結した文字列をもとに計算しました。より複雑な機械学習モデルも検討しましたが、シンプルなモデルで及第点の性能が出たためシンプルなモデルを採用しました。</p>
<h2>工夫した点</h2>
<p>さて、ここからは今回のプロジェクトで工夫した点をご紹介します。以下のような点を工夫したので、ひとつづつ説明します。</p>
<ul>
<li>OSSのEmbeddingモデルの活用</li>
<li>Sentence Transformers ライブラリによるMulti-GPUの活用</li>
<li>Voyager Vector DBによるCPU上での高速な近傍検索</li>
<li>max_tokensとCoTの活用によるLLM予測の高速化</li>
<li>Numba・cuDFの活用</li>
</ul>
<h3>1. OSSのEmbeddingモデルの活用</h3>
<p>第2ステージのモデル (kNN) では商品のEmbeddingの計算が必要でした。自前でニューラルネットワークを組むことも可能でしたが、OpenAI Embeddings API (<code>text-embedding-ada-002</code>) [5]で十分な精度が出ることが確認できたので、当初はこのAPIを利用する方針としていました。</p>
<p>しかし、試算してみたところ、すべての商品にOpenAI Embeddings APIを利用するのは処理時間的にもコスト的にも少し厳しいということがすぐにわかりました。</p>
<p>そんな中、MTEB[6]やJapaneseEmbeddingEval[7]を眺めていると英語以外の言語でもOpenAI Embeddings APIに匹敵するOSSのモデルが多数あることに気づきました。自分たちで評価用データセットを作って試してみたところ、OpenAI Embeddings API同等の精度が出たためOSSのモデルを利用することにしました。</p>
<p>私たちがこのプロジェクトを行なっていた2023年10月時点のデータでは、以下のモデルが高い精度を示しており、最終的には計算コストと精度のバランスを鑑み intfloat/multilingual-e5-base を利用しました。(MTEBのランキングは常時入れ替わっているため、2024年4月現在はもっと強いモデルがあると思います)</p>
<ul>
<li>intfloat/multilingual-e5-large [8]</li>
<li>intfloat/multilingual-e5-base [9]</li>
<li>intfloat/multilingual-e5-small [10]</li>
<li>cl-nagoya/sup-simcse-ja-large [11]</li>
</ul>
<p>このように、OSSでも非常に高性能なEmbeddingモデルが存在しているため、Embeddingを利用するプロジェクトを行う場合は、シンプルな問題を作成して、OSSでも十分な性能を持つモデルがあるかどうかを確認してみることをお勧めします。</p>
<h3>2. Sentence Transformers ライブラリによるMulti-GPUの活用</h3>
<p>OSSモデルを利用することで OpenAI Embeddings APIに比べて飛躍的に処理速度が上がったものの、数十億商品を処理するにはもう少し改善が必要でした。</p>
<p>A100などの強力なGPUを利用できれば話が早かったのですが、世界的なGPU枯渇の影響を受けてか、プロジェクト実施時の2023年11-12月時点では強いGPUを掴むことはなかなか困難でした。(現在もあまり状況は変わっていないかと思います)</p>
<p>そのため、V100やL4などのGPUを複数台並列で利用して対応することにしました。幸いなことに、Sentence-Transformers[12]ライブラリを利用すると以下のようなシンプルなコードで複数台のGPUを簡単に並列化できたため、非常に助かりました。</p>
<pre><code class="language-python">from sentence_transformers import SentenceTransformer

def embed_multi_process(sentences):
    if &#039;intfloat&#039; in self.model_name:
        sentences = [&quot;query: &quot; + b for b in sentences]
    model = SentenceTransformer(model_name)
    pool = model.start_multi_process_pool()
    embeddings = model.encode_multi_process(sentences, pool)
    model.stop_multi_process_pool(pool)</code></pre>
<p>強力なGPUを大量に使えれば理想的ですが、それが難しい状況でも工夫次第で処理を高速化することができます。Sentence-Transformersのようなライブラリを活用して、限られたリソースを最大限に活用することが重要だと感じました。</p>
<h3>3. Voyager Vector DBによるCPU上での高速な近傍検索</h3>
<p>kNNを利用する際にはベクトルデータベースが必要でした。サンプリングしたとはいえ数百万商品の学習データになったため、GPUのメモリに載らない状況でした。A100 80GBなどの大きなメモリを持つGPUを使えば載ったかもしれませんが、前述の通り強力なGPUは確保が困難だったので試すことすらできませんでした。</p>
<p>そんな折、Spotify社製のVoyager[13]がCPUでも高速に動作すると聞いたので試してみたところ、実用に足る速度を簡単に実現できました。Embedding計算に比べると近傍探索の時間はそれほど影響が大きくなかったため厳密に他のプロダクトと比較していませんが、十分な速度を出すことができていました。</p>
<p>Voyagerにはメタデータ管理機能がなかったので自分たちでクライアントを書く必要がありましたが、それでも全体的には良い選択だったと思っています。</p>
<h3>4. max_tokensとCoTの活用によるLLM予測の高速化</h3>
<p>今回のプロジェクトでは ChatGPT 4 はコスト面から利用できず、ChatGPT 3.5 turboを使わざるを得ませんでした。ChatGPT 3.5 turboはコストの割に賢いとは思いますが、精度には少し不安がありました。そのため、Chain of Thoughts[14]を利用して説明を生成させることで精度向上を図りました。</p>
<p>皆さまもご存知かと思いますが、ChatGPTに説明を行わせるとずっと喋り続けることもあり、処理時間が問題となりました。そこで、<code>max_tokens</code>パラメータを利用して長い話を途中で打ち切ることで処理時間の短縮に努めました。</p>
<p>回答を打ち切ると(Function Callingの) JSONが壊れるので、LangChain[15]のllm.stream()を利用したり、もしくは自分でJSONを復元してパースする必要があり少し手間がかかります。厳密な比較はしていないものの、この手法によって処理時間短縮と精度向上の良いバランスを取れたと感じています。</p>
<p>以下がLangChainの<code>llm.stream()</code>を利用した場合のサンプルコードです。</p>
<pre><code class="language-python">from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class ItemCategory(BaseModel):
    item_category_id: int = Field(None, description=&quot;商品説明から予測したカテゴリID&quot;)
    reason: Optional[str] = Field(None, description=&quot;このカテゴリIDを選択した理由を詳しく説明してください&quot;)

system_prompt = &quot;&quot;&quot;
与えられる商品情報を元に、商品のカテゴリを予測してください。
商品のカテゴリは候補から選んでください。選んだ理由も説明してください。
&quot;&quot;&quot;
item_info = &quot; (商品データと新カテゴリ候補などを入れる) &quot;

llm = ChatOpenAI(
    model_name=&quot;gpt-3.5-turbo&quot;,
    max_tokens=25,
)
structured_llm = llm.with_structured_output(ItemCategory)
prompt = ChatPromptTemplate.from_messages(
    [
        (&quot;system&quot;, system_prompt),
        (&quot;human&quot;, &quot;{item_info}&quot;),
    ]
)
chain = prompt | structured_llm

# streamingの最後の要素だけ取り出す
# - 通常、max_tokensで回答を打ち切るとjsonが壊れてパースの処理が必要
# - langchainのstreamで実行すると常にjsonを完成させてくれるため、
#   max_tokensで回答を打ち切ってもjsonをパースする必要がない
for res in chain.stream({&quot;item_info&quot;: item_info}):
    pass

print(res.json(ensure_ascii=False))  # res: ItemCategory
# {&quot;item_category_id&quot;: 1, &quot;reason&quot;: &quot;商品名に「ぬいぐるみ」が含まれ&quot;}</code></pre>
<h3>5. Numba・cuDFの活用</h3>
<p>数十億商品を処理する際は些細な処理でも処理速度が気になるため、可能な限りすべての処理をcuDF[16]およびNumba[17]で高速化しました。</p>
<p>正直なところ Numba を書くのは苦手だったのですが、Pythonの素のコードをChatGPT 4に見せると書き直してくれるため、ほとんど自分で書く必要がなくコーディング工数を大幅に削減することができました。</p>
<h2>まとめ</h2>
<p>ChatGPTは会話形式で利用されることが多く注目を集めていますが、その高い思考能力を活用することで、これまで面倒だったり不可能であったタスクを簡単に解決できるようになります。私たちのプロジェクトでは、膨大な商品データを新しいカテゴリに短期間で分類し直すという面倒な課題を、ChatGPTを活用することで解決することができました。</p>
<p>また、OSSのEmbeddingモデルやマルチGPUの活用、高速な近傍検索が可能なベクトルデータベースの採用、ChatGPTでの予測の高速化、Numbaを用いた処理の高速化など、様々な工夫を行うことで、限られた時間とリソースの中でも最大限の成果を出すことができました。</p>
<p>今回の事例が、ChatGPTをはじめとする大規模言語モデルの可能性の一端を示し、皆様のプロジェクトの参考になれば幸いです。ぜひ、様々な場面でLLMを活用し、これまでは難しかった課題にチャレンジしてみてください。</p>
<h3>Refs</h3>
<ol>
<li><a href="https://engineering.mercari.com/blog/entry/20230612-cf-similar-item/">協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み</a></li>
<li><a href="https://platform.openai.com/docs/guides/text-generation">OpenAI API</a></li>
<li><a href="https://about.mercari.com/press/news/articles/20221128_threebillion/">フリマアプリ「メルカリ」累計出品数が30億品を突破</a></li>
<li><a href="https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm">k-nearest neighbors algorithm</a></li>
<li><a href="https://platform.openai.com/docs/guides/embeddings">OpenAI Embeddings API</a></li>
<li><a href="https://huggingface.co/spaces/mteb/leaderboard">Massive Text Embedding Benchmark (MTEB) Leaderboard</a></li>
<li><a href="https://github.com/oshizo/JapaneseEmbeddingEval">JapaneseEmbeddingEval</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-large">intfloat/multilingual-e5-large</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-base">intfloat/multilingual-e5-base</a></li>
<li><a href="https://huggingface.co/intfloat/multilingual-e5-small">intfloat/multilingual-e5-small</a></li>
<li><a href="https://huggingface.co/cl-nagoya/sup-simcse-ja-large">cl-nagoya/sup-simcse-ja-large</a></li>
<li><a href="https://www.sbert.net/">Sentence-Transformers</a></li>
<li><a href="https://github.com/spotify/voyager">Voyager</a></li>
<li><a href="https://arxiv.org/abs/2201.11903">Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al. 2022)</a></li>
<li><a href="https://github.com/langchain-ai/langchain">LangChain</a></li>
<li><a href="https://github.com/rapidsai/cudf">rapidsai/cudf</a></li>
<li><a href="https://numba.pydata.org/">Numba: A High Performance Python Compiler</a></li>
</ol>


LLMを活用した大規模商品カテゴリ分類への取り組み

Blog

<h2>概要</h2>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaが、2024年4月8日(月)〜10日(水)に、ベトナム・ハノイで開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>にて、発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 OSSであることに重きを置いており、テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリAIチームのエンジニア・Chingis OinarとTeo Narboneta Zosaによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Unleashing the Potential of AI Through Search Ranking: How Mercari Uses Data &amp; Science to Drive Marketplace Growth（検索ランキングでAIの可能性を解放する：メルカリがマーケットプレイスの成長を促進するデータサイエンスの活用法）』</li>
<li>発表時間：現地時間：2024年4月9日（火）11時00分 〜 11時35分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/8985">https://eventyay.com/e/55d2a466/session/8985</a></li>
</ul>
<p>メルカリMLチームは、昨年シンガポールにて開催されたFOSSASIA Summit 2023にも参加し、メルカリに機械学習オペレーション（MLOps）の実装について発表しました。今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長を促すMLソリューションについて掘り下げます。</p>
<h2>研究の背景</h2>
<p>競争の激しい現在のEコマース市場において、効果的な検索ランキングシステムは必要不可欠なものとなっています。日本最大のC2Cマーケットプレイスであるメルカリでは、数百万人のお客さまに、最高の体験を提供すべく、マーケットプレイスでの取引や、商品との出会いの最適化・エンゲージメント促進のために、検索へのAI活用を行っています。</p>
<p>本発表は、メルカリの検索ランキングシステムの構築・改良の取り組みについて紹介します。データサイエンティスト、機械学習エンジニア、そしてeコマースの検索ランキングの開発に興味のある方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>今回は、メルカリのランキングシステムの構造を紹介し、マーケットの成長促進に効率的なMLソリューションの開発に必要な主要ポイントをデータセットの構築、モデルの追跡とモニタリング、モデルの構築、継続的な反復、の4点を取り上げ解説します。 </p>
<h2>概要</h2>
<ul>
<li>データセットの構築：問題の明確化・理解は、解決策を決定する上で非常に重要なことです。常に進化するeコマース検索の現場では、使用される学習データを常に革新し、適応させ、洗練させることが重要です。ChingisとTeoは、ユーザーの行動、アイテムの属性、市場のダイナミクスを組み込んだ、豊富で多様なデータセットの構築方法のデモを行います。</li>
<li>モデルの追跡とモニタリング：私たちがどのようにMLランキング・モデルのトラッキングとモニタリングに取り組んでいるのか、ロバストな評価のために開発した主要なカスタム指標も含めてご紹介します。</li>
<li>モデルの構築：問題を明確化し、学習の進行状況を監視するプロセスを設定した後、私たちのモデル構築プロセスについて技術的な観点で掘り下げます。ランキング学習とは何か、また最適なパフォーマンスを実現するための私たちの目標を探ります。</li>
<li>過去データからバイアス取捨：最後に、既存の問題を認識することは、継続的な反復改善への第一歩となります。ChingisとTeoは、反実仮想機械学習（Counterfactual Machine Learning）を通じたランキング・モデルにおける潜在的なバイアスにどのように対処するか、解説説明します。また、バイアスの偏りが、学習プロセスにどのような影響を与えるか、どのような要因が特定のユーザー行動を引き起こす可能性があるかを紹介します。</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

<h2>概要</h2>
<p>メルカリMLチームのエンジニア・Lirong ZhangとMiao Caoが、2024年4月8日(月)〜10日(水)、ベトナム・ハノイにて開催される<a href="https://eventyay.com/e/55d2a466">FOSSASIA Summit 2024</a>で発表を行います。</p>
<p>FOSSASIAはアジアを拠点に、オープンソースソフトウェア・アプリケーションとオープンハードウェアをグローバルコミュニティーと共に開発する組織です。FOSSASIA Summitでは、人々の生活を向上させるオープン・テクノロジー、知識へのアクセスを目指し、開発者とベンダー、ユーザーの繋がりの創出を目的としたイベントです。 テーマは、ハードウェア/AI/ Cloud技術/データベース/モバイル/IT教育・法務コンプライアンス…等、多岐に渡ります。</p>
<p>メルカリMLチームのエンジニア・Lirong ZhangとMiao Caoによる研究は、下記の内容にて発表予定です。</p>
<ul>
<li>タイトル：『Opportunities to Address Complex Challenges in E-Commerce Search Through LLMs（eコマース検索における複雑な課題にLLMで取り組む）』</li>
<li>発表時間：2024年4月9日（火）14時45分 〜 15時10分 GMT+7</li>
<li>詳細：<a href="https://eventyay.com/e/55d2a466/session/9015">https://eventyay.com/e/55d2a466/session/9015</a></li>
</ul>
<h2>研究の背景</h2>
<p>eコマースの検索メカニズムは、包括的な類義語辞書がないことや、人間がアノテーションを行ったデータセットの希少性・主観性の課題など、複雑な問題にしばしば直面します。</p>
<p>こうした問題に取り組むため、メルカリの検索チームは、検索領域におけるさまざまなLarge Language Model（LLM）のアプローチを戦略的に採用してきました。</p>
<h2>研究概要</h2>
<p>本プレゼンテーションは、eコマースの検索におけるLLMベースの機能に関する調査から得られたインサイトの発表を目的としています。eコマースの検索における複雑な問題を解決するために、LLMの活用戦略・成功・そしてそのプロセスで得た学びに焦点を当て、メルカリでのこれまでの取り組みについて掘り下げます。<br />
データサイエンティスト・MLエンジニア・eコマース検索の文脈における効果的なLLMソリューションの展開の可能性に興味を持つ方を対象としています。</p>
<h2>発表内容のポイント</h2>
<p>本プレゼンテーションでは、LLMを活用して検索システムを大幅に改善した、メルカリでの最新の試みに関して、下記の3つの手法の概説を行います。</p>
<ul>
<li>
<p>オフライン評価データセットの構築： 開発の生産性を大幅に向上させるべく設計されたオフライン評価システムの実装のデモンストレーションを行います。このシステムにより、検索アルゴリズムのパフォーマンスをより合理的かつ、効率的に評価することができ、さらにアルゴリズムの改善・最適化を行うことができます。</p>
</li>
<li>
<p>類義語の生成：LLMにより、同義語辞書を強化し、様々な言語表現や地域の方言に対応する、より包括的な辞書作成のメカニズムを解明します。LLMのプラットフォームに掲載されている膨大な商品とユーザーのクエリ理解と、関連付けのために非常に重要な要素となります。</p>
</li>
<li>
<p>画質評価： 画質モデル開発のための、画像の評価・分類におけるLLM応用について説明します。本アプローチは、検索結果の品質を向上させ、より満足度の高いユーザー体験を提供します。</p>
</li>
</ul>
<h2>Search Quality Teamについて</h2>
<p>Search Qualityチームは、メルカリの検索結果の品質向上に取り組んでいます。お客さまにとってより良い売買体験を提供すべく、検索ランキングと関連性の継続的な改善に注力しています。</p>


メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

<h2>■概要</h2>
<p>この度、データサイエンスチームのエンジニア・Deddy Jobsonによる研究「Using Recommendations to balance demand and supply in two-sided marketplaces」が、人口知能分野の国際学会「AAAI 2024（Association for the Advancement of Artificial Intelligence）」内「Recommendation Ecosystems Workshop（EcoSys2024）」の、ポスター発表に採択されたことをお知らせいたします。</p>
<p>AAAI 2024（The Conference on Information and Knowledge Management）は、人工知能技術の分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催38回目である今年のAAAIは、カナダ・バンクーバーにて、2024年2月20日から27日まで開催されます。</p>
<p>ポスター発表の日時は、下記のスケジュールを予定しています。</p>
<ul>
<li>2024年2月26日（月）15時00分 〜 16時00分（現地時間）</li>
</ul>
<h2>■発表内容のポイント</h2>
<p>*本研究は<a href="https://openreview.net/forum?id=ljtKZdRGu3">こちらのリンク</a>から全文ご覧いただけます</p>
<ul>
<li>本研究では、買い手・売り手から成る、CtoCマーケットプレイスのような2面的な市場において、需給のバランスを取るための推薦システムの利用というアイデアを提案しました</li>
<li>公開データセットを用いた実験を行い、買い手・または売り手側の指標改善のため、ビジネスの優先順位に応じて、推薦システムがどのように変更できるかを示しました</li>
</ul>
<h2>■研究の背景</h2>
<p>現在の推薦システムの多くは、消費者中心であり、その目的は、消費者の利益を向上させることにあります。これは消費者に対するコンテンツの過剰供給の対処にも役立ちます。</p>
<p>本研究では、出品アイテムを起点とした推薦のアイデアを紹介します。このアイディアは、CtoCマーケットプレイスのような両面的な市場で発生しうる、過剰需要にも対応します。私たちは今回、公開データセットでの実験を行い、ビジネス要件に応じて、売り手・買い手の購買体験を優先しながら、レコメンデーションが活用できることを示しました。</p>
<h2>■研究概要</h2>
<ul>
<li>推薦システムを用い、両面的な市場における需要と供給のバランスを取る手助けを行います</li>
<li>私たちは、出品者・購入者のどちらの支援を行うのか、その時々でレコメンデーションの性質を変化できるレバーを構築し、ビジネス上の目的に応じて、出品者・購入者にターゲットを合わせたレコメンデーションを行います</li>
<li>我々のアプローチは、推薦システムの能力を拡張し、両面的な市場のすべての参加者の長期的な福祉を向上が期待できます</li>
</ul>
<h2>■DS Teamについて</h2>
<p>メルカリのデータサイエンスチームは、統計・機械学習・数理的最適化を通じて、メルカリのマーケティングキャンペーンやサービスの効率向上に取り組んでいます。技術的な問題を解決するべく、文献で使われている最先端の手法を積極的に学び、取り入れ、その過程で積極的な論文発表を行っています。</p>


メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces」がAAAI2024 EcoSys Workshopに採択されました

Interview

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

<p>メルカリは、<a href="https://about.mercari.com/press/news/articles/20230501_generativeai/">2023年5月に生成AI/LLMの専任チーム設立を発表</a>。このチームを立ち上げ、主導するのは、ソウゾウ代表取締役CEOとしてメルカリShops事業を牽引してきた石川 佑樹（<a href="https://twitter.com/maze_rapid">@maze</a>）です。<br />
メルカリはこれまで、UI/UXのみならず、マーケティングやカスタマーサポートなど、幅広い領域でAIを活用してきました。今後、「メルカリのAI活用の1つの柱になる」と捉え、石川自らが経営会議にてチームの立ち上げを提案した生成AI/LLMチーム。この技術への思い、3ヶ月の取り組みの中で見えてきたもの、チームとしての中長期的な展望について聞きました。</p>
<h3>プロフィール</h3>
<p><strong>石川 佑樹 | 株式会社メルカリ 執行役員 VP of Generative AI / LLM<br />
</strong><br />
東京大学卒業後、2012年任天堂株式会社入社。2014年にモイ株式会社（ツイキャス）に入社し、各種開発や新規立ち上げに従事。2017年6月メルカリグループの株式会社ソウゾウ（旧）に入社。その後、株式会社メルカリへ異動を経て、2020年7月より株式会社メルペイ執行役員VP of Product。2021年1月から株式会社ソウゾウ代表取締役CEO。2022年7月から株式会社メルカリ執行役員VPを兼任。</p>
<h2>「メルカリとして絶対にこの領域に取り組むべき」だと感じた</h2>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/4a8052b6-maze_interview3-1024x683.jpg" alt="" /></p>
<p><center><br />
石川 佑樹 | 株式会社メルカリ 執行役員 VP of Generative AI / LLM<br />
</center></p>
<p><strong>ーー2023年5月にメルカリの生成AI/LLM専門チームが設立されました。専任チームを立ち上げた背景と、目的について教えてください。</strong></p>
<p><strong>石川：</strong>生成AI/LLMの専任チームについては5月に正式にリリースを出しましたが、2023年の2月から構想を進めていました。2022年の夏頃の<a href="https://stablediffusionweb.com/">StableDiffusion</a>や、2022年末の<a href="https://chat.openai.com/auth/login">ChatGPT</a>の登場を受け、個人的に注目していました。色々と試していくうちに、メルカリの事業や社内業務として活用できそうなアイディアがたくさん思い浮かび、経営会議で「メルカリとして絶対にこの領域に取り組むべき」と提案したことが専任チーム設立のきっかけです。今年の春の時点では、生成AI領域に関しては不確実性が高い状況だったので、まずは機動的に動ける少人数の専任チームを作りました。</p>
<p>生成AI/LLMチームのミッションは、「①生成AIの技術を用いて、新たな顧客体験を創り、事業インパクトを最大化させる」、そして「②全社の生産性を劇的に向上させる」という2点です。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/36b404ab-maze_interview1-1024x570.png" alt="" /></p>
<p><center><br />
『MS Build Japan2023』での発表資料より<br />
</center></p>
<p>最初期は、フルスタックかつ、過去にMLのプロジェクトに関わっていたエンジニアにジョインしてもらいました。現在はエンジニアや、デザイナー、BizOpsのメンバーによって構成されています。引き続きエンジニア採用も進めています。</p>
<h2>エンジニアの開発体験を向上する「GitHub Copilot」の導入</h2>
<p><strong>ーーAI/LLMチームの設立から数ヶ月が経ちました。これまでに取り組んだ具体的な施策について教えてください。<br />
</strong></p>
<p><strong>石川：</strong>まず、「全社の生産性を劇的に向上させる」というミッションに関連して、エンジニアの開発体験のための『<a href="https://github.com/features/copilot">GitHub Copilot</a>』を導入しました。GitHub CopilotはAIが最適なコードを提案してくれる、プログラミングをサポートするツールです。コメントからコードを生成したり、記載途中のコードから続きを補完してくれたりと、開発体験を向上する支援ツールとして活用されています。GitHub Copilotによる開発生産性に関して、導入によってタスクの完了速度が約2倍早くなった、という公式の見解もあったりします。今後、導入企業とそうでない企業では大きな差が生まれうると考え、多数のエンジニアを擁する会社として、まず導入したかったツールでした。生成AI/LLMチームが旗振りをし、Corporate Engineerチームが主導してくれ、6月には希望するエンジニアが使用できるようになりました。</p>
<p>導入時の懸念として、3つのリスクがあることを整理しました。1点目が著作権侵害やオープンソースラインセンスの違反を含む法的なリスク、2点目が法的リスクに連なったレピュテーションリスク、最後が社内のコードがGitHub Copilotを通じて情報漏洩するリスクです。</p>
<p>それぞれの観点で検証を行った結果、一定の制限を設けることで、使用に関しては問題ないという結論になったため、今はメルカリのエンジニアは誰でも使用できるようになりました。導入後の具体的な検証はこれからですが、シニアなエンジニアからは「かなり楽ができるようになった」という声を聞き、比較的エンジニア歴が短い人からは「悩んだ時の教科書のように使えている」とフィードバックを受けています。専業プログラマーでない人でも、それなりに綺麗なコードが書けるため、開発に携わる広いメンバーに対してメリットがあるツールだと感じています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/bf386527-maze_interview5-1024x683.jpg" alt="" /></p>
<h2>自然な会話を通じて商品を探せる、新しいお客さま体験</h2>
<p><strong>ーー2023年7月には、<a href="https://about.mercari.com/press/news/articles/20230724_chatgpt/">ChatGPTのプラグイン導入</a>も発表されていました。</strong></p>
<p><strong>石川：</strong>一般的にメルカリを含むECのサイトでは、お客さまがある程度欲しいものが頭にある状態でのキーワード検索や、検索履歴に基づくおすすめアイテム表示などが中心だと思います。</p>
<p>しかし、今回のプラグイン導入によって、ChatGPTとの対話によって商品を検索することが可能になりました。「初めてのキャンプに必要なものを教えて」「5歳の女の子が喜びそうなプレゼントは？」など、特定の商品を思いついていない状態でも、自然な会話を通じて商品を探せるため、これまでのお客さま体験とは異なる機能となっています。今後の検証結果によっては、メルカリアプリ本体への実装も考えています。</p>
<p>導入後、当初の想定よりも使われているな、というのが素直な感想です。現在、ChatGPTプラグインが使用できるのは有料版であるChatGPT Plusが使える方のみです。当該機能を使用しているユーザー層としては30〜40代の男性が多く、娘やパートナーへのギフトの相談、趣味の電化製品やカメラの絞り込みといった目的でよく利用されています。ガジェットや家電の複雑な機能に関して、自然な言語でアイテムを絞り込めるのはたしかにすごく便利ですよね。ChatGPTによるサジェストの結果、メルカリへの流入にも貢献しています。今後も引き続き、データを追っていきます。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/2a5fa68e-maze_interview2-1024x683.jpg" alt="" /></p>
<h2>生成AIのクリエイティブを、採用やマーケティングへ活用</h2>
<p><strong>ーーmazeさんのX（旧Twitter）にて、<a href="https://x.com/maze_rapid/status/1686525669642289153?s=20">生成AIを活用したチームの採用クリエイティブ</a>がアップされていました。クリエイティブへの活用に関する展望があれば教えてください<br />
</strong><br />
<img src="https://storage.googleapis.com/prd-ai-asset/2023/10/cb5c6c13-images_maze.png" alt="" /></p>
<p><strong>石川：</strong>まずはテストとして、生成AI/LLMチームの採用のためのクリエイティブを生成し、私のXアカウントで数日間ポストしていました。これらの画像は、生成AIで作ったクリエイティブに、デザイナーが背景に合わせた文字入れをしています。今は少しだけ人の手が介在している状況ですが、今後はテキストの指示だけでも思い通りのクリエイティブ生成ができるようになると思います。</p>
<p>今後の展望としては、キャンペーンや、広告のクリエイティブへの生成AIの活用を検討しています。</p>
<p>具体的には、以前評判のよかったメルカリの広告のデータを踏まえた広告クリエイティブを生成し、デジタル広告やOOH（屋外広告）で活用できないか、取り組みを進めています。<br />
現在（2023年10月3日時点）、渋谷駅の屋外広告にて、メルカリのハロウィン関連のCMを流しているのですが、こちらのプロモーション動画は実は生成AIによって作られたクリエイティブです。</p>
<p><center><br />
<iframe loading="lazy" width="560" height="315" src="https://www.youtube.com/embed/IWgwWYrhaMs?si=IvUJHo_QU7DOznVL" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe><br />
渋谷のスクランブル交差点にて放映中のメルカリのCM<br />
</center></p>
<p>また、トレーディングカードのクリエイティブ生成に使えないか？という取り組みも進めています。著作権上、実在するカードの画像は広告に使えないのですが、トレーディングカードとわかるクリエイティブをAIで生成し、広告などに使用できないか検討しています。リーガル回りの整理も並行して進めており、こちらも近日のリリースを目指しています。</p>
<h2>これからの半年は、成功と失敗を重ね、多くの挑戦をするフェーズ</h2>
<p><strong>ーー今後、生成AI/LLMチームとして、さらに挑戦していきたいことはありますか？<br />
</strong><br />
<strong>石川：</strong>これからの半年間は、生成AIを用いた体験でどのような体験がつくれるのか、どの程度のインパクトが出せるのか、あらゆる領域で試行錯誤していきます。</p>
<p>この半年においては「半分くらい失敗してもいいかな」くらいの気持ちで、なるべく広く・多くの取り組みに挑戦していくことが重要です。その結果、生成AI/LLMが上手くハマるところと、そうでないところが見えてくるのかなと。いくつかの施策をまとめ、評価レイヤー、プラットフォームレイヤー、そしてML Ops的な組織がどのように必要かどうか、見極めていく必要があると考えています。</p>
<p>自社サービスへの導入や、ビジネス上のインパクトを作ることはもちろん大事な指標ですが、私たちはメルカリ社内の技術理解を推進していくことも非常に大事なミッションだと捉えています。1年後の視点ですと、生成AI/LLMがメルカリの開発体験における、より中核技術として浸透していくべきです。UI/UXに関して出品・購入をなめらかにする観点などはもちろん、バックエンドのアルゴリズムまで含めて、生成AI/LLMが浸透している状態を目指しています。</p>
<p><strong>ーーAI/LLMチームの今後の組織体制についても、展望があれば教えてください。</strong></p>
<p><strong>石川：</strong>引き続き、専任チームで機動的な技術探索・プロダクト開発を進めていきますが、中長期的に、メルカリのあらゆるメンバーが生成AI/LLMを活用できている状態にするべく、活動を進めていければと考えています。</p>
<p>今後、メルカリ内で生成AIのモデル自体の開発を進めていくかどうかということも併せて検討しています。社内だけの力に限らず、広く社外との連携も見据えていけたらと考えています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/5596b7e9-maze_interview6-1024x683.jpg" alt="" /></p>
<h2>メルカリの魅力は、豊富なデータ量を活用しながらダイレクトなフィードバックを得られること</h2>
<p><strong>ーー生成AI/LLMの可能性を探索する場として、メルカリの魅力があれば教えていただけますか</strong></p>
<p><strong>石川：</strong>メルカリで生成AI/LLMに取り組む魅力は2つあります。1つは豊富なデータがある会社であること。AIプロダクトはデータ量がモノを言う側面がありますが、その点、メルカリを通じて蓄積された大量のデータを扱うことができます。もう1つは、作ったシステムをディストリビューションした結果、ダイレクトなフィードバックをたくさん得られること。この2つは、AIを使ったサービスを開発する上で強い魅力だと感じています。</p>
<p>生成AIは、お客さまに関連する部分でできることもたくさんありますし、社内の生産性向上に関しても、今後、働き方レベルで大きな変化が訪れると考えています。メルカリは現在2000人超のメンバーを擁し、おしなべて社員のITリテラシーが高く、さまざまな取り組みを実験できる環境です。生成AI/LLMを使った業務設計・組織設計などを社内で検討し、どんどんPoCを進めていけると考えています。</p>
<p>実は、「全社の生産性を劇的に向上させる」というテーマは、私個人のたっての希望でミッションに追加しました。社内では技術的な試行錯誤をしやすく、チャレンジをしやすい環境です。また、メンバー自身の働く環境が変わることで、さらに生成AI/LLMを身近に捉えることができ、技術浸透が進むと考えています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/10/d23a319e-maze_interview4-1024x683.jpg" alt="" /></p>
<h2>生成AI/LLMチームでは一緒に働くメンバーを募集中です！</h2>
<p>メルカリの生成AI/LLMチームで働くことの面白さや、挑戦機会の多さを感じていただけたら嬉しいです。チームの募集詳細はこちらをご覧ください。<br />
<a href="https://apply.workable.com/mercari/j/183899D2BA/">Software Engineer, Full Stack (LLM/GenAI) - Mercari</a></p>
<ul>
<li>Photo : Shun Nakayama (<a href="https://shunnakayama.myportfolio.com/">Web</a> / <a href="https://twitter.com/shunnakayama_">X</a>)</li>
<li>Text : Ayumi Iga</li>
</ul>


メルカリは生成AI/LLMをどう活用するのか？掲げたミッションは「新たな顧客体験と事業インパクトの創造」と「全社の劇的な生産性の向上」

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニアである紫藤 佑介・柳沼 慎哉・田口 直弥・古澤 智裕、田中 涼による論文「Layout Optimizer for Personalized Home Screen based on Contextual Multi-Armed Bandit in C2C Marketplace」が、国際学会「<a href="https://recsys.acm.org/recsys23/">RecSys 2023（ACM Conference on Recommender Systems）</a>」内の「<a href="https://sites.google.com/view/consequences2023/home">CONSEQUENCES ‘23ワークショップ</a>」に採択されたことをお知らせいたします。</p>
<p>RecSysは、推薦システムの分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催17回目である今年のRecSysは、シンガポールにて2023年9月18日から22日まで開催されました。</p>
<h2>発表内容のポイント</h2>
<p>今回の発表ではお客様のメルカリの使い方に基づいて、商品推薦以外も含めた多くのコンテンツの中からより魅力的となるコンテンツを優先的にホーム画面に表示する方法を提案し、その実験結果を報告しました。</p>
<p>今回提案する手法では、どのようなコンテンツがどのようなお客様にとって魅力的かという事前知識を与えず、データ収集の為の探索的な画面表示と機械学習が行われた結果、最適とされた画面表示が自動的に行われ、全体的な満足度を最適化します。</p>
<h2>研究の背景</h2>
<p>メルカリでは、レコメンデーションチームを始め、複数のチームが、アプリのホーム画面に表示するコンテンツを開発しています。ホーム画面には、商品推薦やキャンペーンの告知など様々な種類のコンテンツが存在し、さらに、同じ商品推薦でも複数の推薦手法や表示方法が存在しています。</p>
<p>お客様によって推薦する商品が異なるのは当然ですが、どのような推薦手法が良いか、キャンペーン告知がどの程度効果的か、という点もお客様によって異なります。</p>
<h2>研究概要</h2>
<p>メルカリを含めたECサービスにおいて、ホーム画面は多くの閲覧を集める重要な画面ですが、一画面に表示できるコンテンツの量は限られており、魅力的なコンテンツを優先的に上部に置いた画面構成にすることが一般的です。<br />
しかしながら、魅力的なコンテンツはお客様によって異なるため、パーソナライズされた画面構成を行う必要があります。<br />
今回の研究では文脈付き多腕バンディット（contextual multi-armed bandit problem）アルゴリズムを応用した手法を提案し、実験の詳細と結果について報告しました。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/09/6d29996b-recsys.png" alt="" /></p>
<h2>発表後のコメント</h2>
<p><strong>ML Engineer / Backend Engineer | 紫藤 佑介<br />
</strong><br />
今回はポスター発表という形式だったこともあり、時間をかけて、各国の研究者やエンジニアと対面で議論を行うことができました。</p>
<p>特に、企業に所属する開発者や研究者からの、興味を持たれたり、質問を受けたりすることが多く、今回発表した内容が、さまざまな企業で共通する課題であることを感じました。</p>
<p>RecSysでのワークショップを含めた5日間は、非常に有意義なインプットの機会となりました。今後も得られた知見をメルカリの事業に活かし、成果を継続して発信していければと思います。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/09/cdf923d7-recsys23_1-1024x552.jpg" alt="" /></p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2023/09/046bfffa-recsys23_3-1024x576.jpg" alt="" /></p>
<p><center><br />
現地でポスター発表を行ったメンバーの様子<br />
</center></p>
<h2>レコメンデーションチームについて</h2>
<p>レコメンデーションチームでは、今回の研究のような画面構成に関わる仕組みに加え、メルカリアプリの各画面における商品推薦の品質向上を行っています。</p>


メルカリAIチームの研究「Layout Optimizer for Personalized Home Screen based on Contextual Multi-Armed Bandit in C2C Marketplace」がRecSys 2023ワークショップに採択されました

協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み

メルカリAIチームのブログです。AI技術や組織にまつわる情報などを日々発信していきます。

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces」がAAAI2024 EcoSys Workshopに採択されました

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces」がAAAI2024 EcoSys Workshopに採択されました

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces」がAAAI2024 EcoSys Workshopに採択されました

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

Latest Posts

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリのMLエンジニア Chingis OinarとTeo Narboneta ZosaがFOSSASIA Summit2024に登壇します

メルカリのMLエンジニア Lirong ZhangとMiao CaoがFOSSASIA Summit2024に登壇します

メルカリDSチームの研究「Using Recommendations to balance demand and supply in two-sided marketplaces」がAAAI2024 EcoSys Workshopに採択されました

「Sell体験の向上はメルカリの要」アイテムクーポンPJの半年を振り返る

メルカリは生成AI/LLMをどう活用するのか？掲げたミッションは「新たな顧客体験と事業インパクトの創造」と「全社の劇的な生産性の向上」

メルカリAIチームの研究「Layout Optimizer for Personalized Home Screen based on Contextual Multi-Armed Bandit in C2C Marketplace」がRecSys 2023ワークショップに採択されました

協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み