Blog

<h2>概要</h2>
<p>この度、メルカリAIチームのエンジニア清水 亮洋と半熟仮想株式会社創業者・イェール大学助教授の成田 悠輔氏らによる共著論文「Counterfactual Learning with General Data-generating Policies」が 人工知能分野の国際会議AAAI 2023の本会議に採択されたことをお知らせいたします。</p>
<p>AAAI（Association for the Advancement of Artificial Intelligence）は、人工知能分野における最も権威のある学会の一つであり、開催37回目である今年のAAAI 2023は、アメリカ合衆国の首都ワシントンD.C.で2023年2月7日から14日まで開催されます。2023年度は37回目の開催で、8,777本の投稿の中から1,721本の論文が採択されています（採択率19.6%）。</p>
<p>発表時間は、下記のスケジュールを予定しています。<br />
<strong><br />
2023年2月12日（日）午後2時00分 〜 3時15分 (GMT-5)<br />
</strong></p>
<h2>発表内容のポイント</h2>
<p><a href="https://arxiv.org/abs/2212.01925">Counterfactual Learning with General Data-generating Policies</a></p>
<ul>
<li>非確率的な方策を含む幅広いクラスの既存方策に適用可能な方策外評価(Off-policy Evaluation)の手法を提案</li>
<li>アルゴリズムが自然に生成したデータを用いてアルゴリズムを改善する手法を開発</li>
<li>提案手法を使ってメルカリ におけるクーポン配信方策を分析、過去データを用いてクーポン施策の効果を測定可能に</li>
</ul>
<h2>研究の背景</h2>
<p>アルゴリズムによる意思決定を行う上で重要なのが、まだ使われたことのない新しい意思決定アルゴリズム（方策とも呼ばれます）の性能を予測することです。しかし古いアルゴリズムと新しいアルゴリズムをランダムにユーザーに割り当てて比較するA/Bテストでは、開発工数がかかってしまったり、新しい機能を享受できないユーザーがいることで、一部ユーザーにとって不公平な状況が発生して不満につながる可能性があります。</p>
<p>そこで、古いアルゴリズムが自然に生成したデータだけを用いて新しいアルゴリズムの性能推定しようとする営み「方策外評価（Off-policy Evaluation）」を用いてこの問題を解決することが重要になります。しかし、現在の方策外評価の技術では、クーポン配布アルゴリズムのような非確率的な方策には使用することが難しいことが知られていました。</p>
<h2>研究概要</h2>
<p>そこで、我々はクーポン配布アルゴリズムのような非確率的な方策を含む幅広い既存方策にも適用可能な新しい方策外評価の手法を提案しました。</p>
<p>本提案手法は、アルゴリズムが意思決定を行った場合、そこから生成されたデータには、自然実験がほぼ必ず含まれるという観察に基づいて開発されています。たとえば、クーポン配布アルゴリズム等で使用される教師付き学習の場合、予測された何らかの変数がある基準値を上回るかどうかでクーポンを配布するかなどの意思決定が行われることが多いですが、基準値の前後では、ほぼ同じ状況であるにもかかわらず、基準値を上回ったかどうかという一点のみで異なった結果と判断され、意思決定が行われてしまいます。我々の提案手法ではこういった偶然の要因によって生まれる意思決定の差異を局所的な自然実験とみなし、新しい方策の性能比較に使用します。</p>
<p>実際にメルカリ上のデータを用いることで、提案した手法が実データ及びA/Bテストの課題を現実問題上で解決できることを検証しました。提案手法を用いることで、A/Bテストではなく、方策外評価によって新しいクーポンの性能やそのビジネスインパクトを見積もることが可能になります。</p>
<h2>MDS Teamについて</h2>
<p>MDS（マーケティングデータサイエンス）チームでは、統計学、機械学習、数学的最適化を用い、マーケティングキャンペーンの効率を向上させることを目的としています。</p>
<h2>半熟仮想株式会社について</h2>
<p>データ・アルゴリズム・数理・思想を組み合わせ、事業や政策、そして社会の未来像をデザインするスタートアップ。「市場設計」「反実仮想機械学習」「因果推論」を強みとし、多数の企業との共同事業・研究や独自の基礎研究・ソフトウェア開発などを行う。<br />
今回の共同研究には同社創業者でイェール大学助教授の成田 悠輔氏、ノースウェスタン大学経済学部PhD課程の奥村 恭平氏、ウィスコンシン大学マディソン校助教授の矢田 紘平氏の3名が参加。</p>


メルカリAIチームと半熟仮想株式会社らの共同研究論文「Counterfactual Learning with General Data-generating Policies」がAAAI 2023に採択されました

メルカリにおける機械学習による検索のリランキングへの道のり

Interview

<p>メルカリAIチームの古澤智裕（<a href="https://twitter.com/rilmayer_jp">@furufuru</a>）は、メルカリ入社後の3年間で、PM・エンジニア・スクラムマスター……とさまざまなポジションを経験しながら、一貫してメルカリのディスカバリー体験の改善に携わってきたそう。そんな彼に、メルカリのレコメンデーションチームの立ち上げから現在に至るまでの歩み、そして今後取り組みたいことまでを教えてもらいました。</p>
<h2>プロフィール</h2>
<p>古澤智裕（<a href="https://twitter.com/rilmayer_jp">@furufuru</a>）| Product Manager<br />
データサイエンスとソフトウェアエンジニアリングの楽しさに出会い、いつの間にかITの世界へ。大学院卒業後は図書館情報学をバックグランドとして情報検索や情報推薦のプロダクト開発に従事。2019年より株式会社メルカリに入社し、データサイエンスチームにて検索評価に取り組む。その後レコメンデーションチームの立ち上げを経て、現在はProduct Managerとしてプロダクト改善を推進している。</p>
<h2>学生時代から一貫して取り組んでいるのは、「情報をいかに整理し、使いやすくするか」ということ</h2>
<p><strong> ──古澤さんが現在取り組んでいることについて教えてください。 </strong></p>
<p>メルカリのコアの体験である、購入・出品体験を改善するチームに所属しています。その中で、私は特に購入体験の改善に取り組んでいます。</p>
<p>お客さまが商品を購入するにあたって、どのように欲しい商品と出会うか？を考えると、最も多い行為は検索です。検索は「欲しいものを思い浮かべたお客さまが、メルカリ内でそのアイテムを探して見つけ、そして買う」という経路ですね。</p>
<p>検索以外だと、そもそも新たな購買ニーズを見つけたり、購買ニーズをもとに特に苦労（=検索）せずに商品を見つけたりする「ディスカバリー体験」の改善もしています。なんとなくメルカリを開いたら、興味があったり、購入を検討したりしているアイテムが出てくる。商品を探しているうちに、他に気になる商品を見つけて、そちらを買う。このような体験が、我々の定義するディスカバリー体験です。</p>
<p>ディスカバリー体験を改善するにあたって強力な手段がレコメンデーションとなります。<br />
現在、レコメンデーションでは、面白い商品情報を紹介する「コンテンツ」、解釈可能な商品のまとまりである「トピック（＝検索条件）」、お客さまが実際に購入する「アイテム」の3つの単位をコントロールし、お客さまに推薦しています。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/219d7b80-image_1-1024x683.jpg" alt="" /></p>
<p><center></p>
<p>古澤智裕（@furufuru）<br />
2019年の入社から一貫してメルカリのレコメンデーションに携わっている<br />
</center></p>
<p>大学時代は図書館情報学に取り組んでおり、学問を通じて「どうすれば大量の知識や情報を収集保存し、様々な人が便利にそれにアクセスできるようになるか」ということを研究していました。学生時代から今までのキャリアを振り返ってみると、一貫して「大量の情報をいかに整理し、使いやすくするか」ということに取り組んでいるように思いますね。</p>
<p>学生時代は司書の道に進むことも考えましたが、エンジニアやデータサイエンティストのインターンを始めたところ、ものづくりやデータ活用に強く興味が湧き、大学卒業後はリクルートでデータサイエンティストの道を選びました。前職のリクルートは様々なライフイベントを通じて多くのカスタマーとの接点を持つ企業のため、データを眺めているだけでも興味深かったです。ただ、データはそこに在るだけでは意味がなく、いかに活用するかということに意義があることも痛感しました。そこから検索・推薦という技術の深堀りをはじめました。</p>
<p><strong> ──検索と推薦の違いを教えてください。</strong></p>
<p>私たちは「こういう情報がほしい」と感じた時、なんらかの形でアプリなどを通じてキーワード等の質問を投げかけますよね？出てきた結果をながめて欲しい情報を入手します。こうした一連の流れを「検索」と呼び、この体験を実現する仕組みを検索システムと呼びます。<br />
一方で、何らかの形でキーワード等の入力をしなくても、すでにあるお客さまのデータを活用してサービス側から情報を提供することもできます。お客さまが能動的に質問等をしなくても情報を提供できる仕組みを推薦システムと呼んでいます。検索と異なり、「推薦」は体験ではなく、サービス提供者の手段を指す言葉となります。<br />
この検索と推薦を上手く作ることは、サービスを使いやすくすることに繋がりますし、最終的に自分が作りたい「様々な人が知識や情報に簡単にアクセスできる」世界に近づけるなと考えています。</p>
<h2>さまざまなポジションを行き来しながら推薦システムの改善に取り組んだ日々</h2>
<p><strong>──なぜメルカリでのポジションに興味を持ったのでしょうか</strong></p>
<p>前職の同僚がメルカリで検索体験の改善に取り組んでおり、お誘いを受けたのがスタートです。当時メルカリのユーザー数もどんどん伸びており、勢いがあったため、いろんなデータを活用した検索技術の深堀りができるのでは？という思いから転職を決意しました。</p>
<p>入社後は現行の検索システムの評価から取り組みをはじめました。検索機能に限りませんが、あらゆるサービスは作るだけではなく、作った機能の評価サイクルを共に回していくことが改善には必要です。</p>
<p>例えば、我々のサービスで検索がうまくいっている状態は「ほしいもののキーワードを入れると、ドンピシャなアイテムが見つかり、購入できる」という一連の体験が作れている時です。逆に検索が上手くいっていないと、お客さまがあるアイテムを探していても、キーワードで上手く辿り着けなかったり、検索一覧に関連度が低いアイテムが多く表示されていたり、という状態になります。検索の成功と失敗を定義し、評価を繰り返しながら、検索チームはどうすれば良い検索が実現できるか試行錯誤していました。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/c184be5d-image_2-1024x683.jpg" alt="" /></p>
<p>その後は、メルカリのレコメンデーションチームを立ち上げました。実はチームを組成する前から、ひっそりと推薦システムのプロトタイプを作っていたのですが、会社としても推薦システムに力を入れていく方針となり、PMとしてチームの立ち上げをサポートしました。しばらく経った後、PMとして@akisがチームに入ってくれ、私はエンジニアに戻りました。</p>
<p>エンジニアとして開発を進める中でチームとして上手く開発体制が作れていない、という課題感も見えてきたため、エンジニアとして働きながらスクラムマスターとして組織の開発体制の整備も進めました。しばらくして組織として上手くまとまりができ、レコメンデーションチームとしても成果が出てくるようになったのですが、当時PMが人材不足だった背景もあり、またPMに戻りました。こうしてみると一貫して推薦システムには関わっていますが、役職はPM、エンジニア、スクラムマスター…と行き来していますね。</p>
<h2>レコメンデーション施策がGMVに貢献できるようになるまでの歩みを振り返る</h2>
<p><strong>──これまでの様々なキャリアの中で、壁にぶつかることはなかったのでしょうか。</strong></p>
<p>実は、レコメンデーションチームとして、上手く売上に貢献できるようになるまでは時間を要しました。現在のシステムになる前から、ホーム画面に並ぶアイテムは、お客さまの過去の行動から推薦したものを出していたのですが、見た目はただアイテムがずらっと並ぶタイムライン形式だったんですよね。その後、推薦システムのコンポーネントの種類を増やし、直近の行動履歴に基づくおすすめのキーワードやカテゴリを表示するようになり、初めて大きく売上が伸びました。ただアイテムを推薦するだけではなく、そのアイテムが推薦されている理由を表示したり、より深堀りしやすくできるようにコンポーネントの機能を定義したりすることで、お客さまにとって分かりやすくなったのだと思います。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/5fb7f5d4-image_3-1024x679.png" alt="" /></p>
<p><center><br />
メルカリのホーム画面の変遷<br />
</center></p>
<p>関連記事：<a href="https://mercan.mercari.com/articles/27899/">誰ひとり「同じじゃない」ホーム画面を──メルカリが“他社に比べて難解”なパーソナライゼーションに挑む理由 | mercan (メルカン)</a></p>
<p>この時期、ホーム画面は見た目のUIも大きく変化しているのですが、同時に背景のシステム改修も進みました。工数がかかっていたホーム画面の機能開発をショートタームで対応できるように、クライアントで表示する内容をほとんどバックエンドで操作できる形に作り替えました。以前から「システムをモジュール化することで、バックエンドの変更だけでホーム画面がいろいろ切り替えられるといいよね」と構想していたのですが、実際に開発・導入されたのは、2020年ごろからでした。</p>
<p><strong>──今後さらにメルカリで挑戦していきたいこと、やりたいことはありますか？</strong></p>
<p>推薦システムでは、今は比較的単純なロジックしか使えていないので、もっと様々な技術を活用して、高度な課題を解いていきたいです。推薦システムのためのデータ活用の基盤整備など、まだまだ取り組めていないことはたくさんあります。色々なロジックを考えることが好きな方がいらっしゃればぜひ一度お話させてください！</p>
<p>メルカリは、数多くのお客さまに利用いただいており、高トラフィックなサービスであるため、大規模なサービスの運用経験がある人の方が勘所がつかみやすいかもしれません。ですが、分からないことがあっても、挑戦を前向きに楽しめる人と、一緒に働きたいです！</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/3e6f9193-image_4-1024x683.jpg" alt="" /></p>
<p><a href="https://ai.mercari.com/articles/ai/furufuru_interview_2/">後編</a>では、PM・エンジニア・スクラムマスター……とさまざまなポジションを経験した彼が、メルカリで働く中で大事にしてきたこと、またメルカリ特有の組織カルチャーについて教えてもらいました。]</p>
<ul>
<li>Photo : Shun Nakayama (<a href="https://shunnakayama.myportfolio.com/">Web</a>/<a href="https://twitter.com/shunnakayama_">Twitter</a>)</li>
<li>Text : Ayumi Iga (<a href="https://twitter.com/aymmm_i">Twitter</a>)</li>
</ul>


レコメンデーションチームを立ち上げたPMが振り返る、メルカリのディスカバリー体験のこれまでとこれから

<p>メルカリAIチームの古澤智裕（<a href="https://twitter.com/rilmayer_jp">@furufuru</a>）は、入社後の3年間で、一貫してメルカリのディスカバリー体験の改善に携わってきたそう。<a href="https://ai.mercari.com/articles/ai/furufuru_interview_1/">前編</a>では、メルカリのレコメンデーションチームの立ち上げから現在に至るまでの歩み、そして今後取り組みたいことまでを教えてもらいました。</p>
<p>後編では、PM・エンジニア・スクラムマスター……とさまざまなポジションを経験した彼が、メルカリで働く中で大事にしてきたこと、またメルカリ特有の組織カルチャーについて教えてもらいました。</p>
<h2>プロフィール</h2>
<p>古澤智裕（<a href="https://twitter.com/rilmayer_jp">@furufuru</a>）| Product Manager<br />
データサイエンスとソフトウェアエンジニアリングの楽しさに出会い、いつの間にかITの世界へ。大学院卒業後は図書館情報学をバックグランドとして情報検索や情報推薦のプロダクト開発に従事。2019年より株式会社メルカリに入社し、データサイエンスチームにて検索評価に取り組む。その後レコメンデーションチームの立ち上げを経て、現在はProduct Managerとしてプロダクト改善を推進している。</p>
<h2>PMとエンジニアの経験によってスムーズな開発を進めることができた理由</h2>
<p><strong> ──古澤さんは、メルカリ入社後の3年間で、PM・エンジニア・スクラムマスター……とさまざまなポジションを経験されてきましたが、そうした経験があるからこそ、メルカリで価値発揮が出来ていると感じる瞬間はありますか?</strong></p>
<p>ひとつは、技術的な負債に対しても機能改善と同じようにアプローチができる点です。プロダクトを作っていると「直接お客様の価値に影響しないが、開発体験ひいては長期的な改善スピードに影響してしまう」といった技術的負債が生じることがありますが、こうした事象に対しても気を配れるようになりました。また、エンジニアのバックグラウンドがあるため、この機能開発にはどれくらいの工数がかかるか、どの要素に注力して取り組めばいいのか、なども判断しやすいですね。エンジニアメンバーともスピード感を持ってコミュニケーションできている実感があります。</p>
<p>もうひとつは、エンジニアとしても働く際にもPM的な立ち回りができるということでしょうか。レコメンデーションチームの立ち上げの時は、まだ社内の組織や開発環境も今ほど整っていませんでした。新たにレコメンデーションの機能を立ち上げるぞ、となった時もシステムとして変えていかなくてはいけない場所が多かったのですが、機能開発を進めるにあたって必要なメンバーを想定しながらコミュニケーションを進めていくことができました。</p>
<p>もう少し細かい話をすると、当時は ①クライアントのコード ②バックエンドのマイクロサービスのコード ③周辺の複数のマイクロサービスのコード、この3点をバランスよく変えていかないといけない状況でした。そのため各チームのエンジニアとコミュニケーションをし、デザイナーやCSチームとも話す必要がある。1つの機能を出すために、社内のさまざまな人とコミュニケーションを行った記憶があります。</p>
<p>こうした取り組みにより、レコメンデーションの機能開発を進めることができました。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/a67047d0-image_3-1024x683.jpg" alt="" /></p>
<h2>TechPMとして大事にしていることは、データを扱う能力</h2>
<p><strong> ──メルカリのTech PMとして求められる能力があれば教えてもらえますか？</strong></p>
<p>メルカリのTechPMとして必要だと考えているのは、まずはデータを扱う力です。今あるデータを見て、何が起こっているか解釈する。データからみえるお客さまの行動をもとに、成功と失敗を定義する。失敗しているのであれば原因を突き止め次の手を考える…といった、判断のためのデータ分析能力が求められます。</p>
<p>施策を打つ際は、事前に「成功をどう測るか」ということを決めてリリースしています。一番簡単なのは、その機能を通じて売上が上がったかどうか、という測り方ですね。しかし、単一の機能でバーン！と数字が跳ねることは少なく、その手前のお客様の行動変化があるかどうか、というところを追いかけることも多いです。仮説通りに数字が動くこともあれば、変わらないことも。時には数字が悪くなることもあります。モニタリングしていた売上に繋がる手前の数値が良くなったとしても、売上自体が下がって、ということもありました。その場合、そもそもの仮説が間違っていたことになるので、仮説から作り直します。常にデータを見て、判断して、ということを繰り返す職種なので、データ分析能力は必要だと思います。</p>
<p>あとTechPMに限らず、PMとして重要なのは、ROIを常に考える力でしょうか。いかに効果的な施策を、より低コストに打てるか、勘所を持って戦略を立てることは大事な能力ですね。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/35fc0787-image_2-1024x683.jpg" alt="" /></p>
<h2>「メルカリのエンジニアは、PMが考えたものを作る人たちではない」ことが衝撃だった</h2>
<p><strong> ──メルカリの組織で特に得られた能力や、成長実感を得ていることがあれば教えてください</strong></p>
<p>分かりやすく伝える能力、でしょうか。メルカリは、様々なバックグラウンドを持つメンバーがいる、ダイバーシティな組織です。入社当初、自分としては分かりやすく話しているつもりなのに、メンバーとうまく意思疎通できないことが多かったんですよね。「こういうことをやります」とチームに伝えても「この施策に取り組む価値がわかない」とコメントが返ってくることも。「どうやら価値が伝わっていないぞ？」と、改めて原因を振り返ってみると、すべてを丁寧に伝えようとしすぎて、かえって難しく伝えていたことに気付きました。異なるバックグラウンドをもつメンバーに対して分かりやすい情報伝達をするために「最も伝えるべきことは何で、この施策の価値はどこにあるのか」ということを考え、情報をできるだけ削ぎ落とし、重要な点のみを抽出して伝えるように努めました。また、メンバーのバックグラウンドに合わせて、伝える情報を取捨選択する視点を持ったことで、PMとして、一緒に働くメンバーと働きやすくなりました。</p>
<p>あと、ピラミッド型の組織だと、上から伝達された情報をさらに下に伝えていく流れですよね。メルカリは横に情報伝達をし、メンバー同士のコミュニケーションを経てトップレベルに合意を取りにいく、ボトムアップの流れも存在しています。このボトムアップの流れを作るためのメルカリ特有な情報伝達の仕方も学びになりました。</p>
<p><strong> ──その他、メルカリ特有のカルチャーなどがあれば教えてください</strong></p>
<p>メルカリに入って衝撃を受けたことの一つは、エンジニアから発信されるものがすごく多いということです。メルカリのエンジニアは「PMが考えたものを作る人たち」ではないことはすごく衝撃でした。彼らは「作る意義がわからないもの・作りたくないものは作らない」というスタンスを持っているので、私も作る意義はいつでも説明できるように心がけています。</p>
<p>逆にエンジニアの立場としても、PMから「これ作って」と言われたときにそのまま「OK！」と請け負うことは良しとされていないんです。システム的には問題がないか、実装のコストはどうか、作る意義はなんなのか、チーム全体として腹落ちしてないといけない。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/a67047d0-image_3-1024x683.jpg" alt="" /></p>
<p>PMとして、会社として作らないといけないことが決まっている実装だとしても、その機能の価値やコンテクストをエンジニアに伝え、そして納得してもらう必要があります。「これを作って！」という一方的なコミュニケーションだと、いいものが生まれなくなるんですよね。</p>
<p>エンジニア・PMの両方を経験し、双方の気持ちが分かるようになりました。PMであれば、エンジニアに背景となる情報や意味を正しく伝えて動いてもらう必要性を学びましたし、エンジニアとしてはPMに対して主体的に意見を持つことが必要だと感じました。</p>
<h2>メルカリのディスカバリー体験は、まだまだ改善できる余地がある</h2>
<p><strong> ──古澤さんが入社当初、メルカリでやりたかったことは達成できたのでしょうか </strong></p>
<p>入社から一貫して、メルカリの検索やディスカバリー体験の改善に取り組んできました。実際、お客さま体験は改善してきたと思いますが、まだまだ改善の余地があります。メルカリは、エンジニアだからここまでというボーダーはなく「アプリをよくしたい」という思いがあれば、挑戦を後押ししてくれ、私の体験としては実際にPMとしてレコメンデーションチームを軌道に乗せることができました。会社の方向性と合ってさえいれば、個人の意志を大事にしてくれると思います。</p>
<p>振り返ってみると、メルカリにはデータサイエンティストとして入社しましたが、PMとして働く機会にも恵まれました。今後も自分としてのやりたい方向に合っていれば挑戦していきたいです。</p>
<p><img src="https://storage.googleapis.com/prd-ai-asset/2022/12/2298cb41-image_4-1024x683.jpg" alt="" /></p>
<ul>
<li>Photo : Shun Nakayama (<a href="https://shunnakayama.myportfolio.com/">Web</a>/<a href="https://twitter.com/shunnakayama_">Twitter</a>)</li>
<li>Text : Ayumi Iga (<a href="https://twitter.com/aymmm_i">Twitter</a>)</li>
</ul>


メルカリでエンジニアとPMのキャリアを行き来する中で見えたこととは

<h2>概要</h2>
<p>データマイニングの国際会議であるKDDの、1st Workshop on End-to-End Customer Journey OptimizationにMDSチームのJie Yang, Yilin Li, Deddy Jobsonによる研究が採択されました。本ワークショップは、カスタマージャーニー全体でのユーザー体験向上をテーマとしています。</p>
<h2>発表内容のポイント</h2>
<p><a href="https://arxiv.org/pdf/2207.14798.pdf">Personalized Promotion Decision Making Based on Direct and Enduring Effect Predictions</a></p>
<p>今回の発表についての主な貢献は下記の通りです</p>
<ul>
<li>顧客の直接的効果および永続的効果をターゲットとしたプロモーションの意思決定のフレームワークを提案する。このフレームワークは、直接効果予測、インセンティブ配分決定、ビジネスインパクト評価から構成される。</li>
<li>顧客直接効果および顧客永続効果（CDEE）モデルを提案し、各顧客の直接購入傾向および永続購入額の予測を行う。</li>
<li>CDEEモデルを弊社における2つのプロモーションキャンペーンでベンチマークと比較し、有意に優れたパフォーマンスを達成する。</li>
</ul>
<h2>研究の背景</h2>
<p>Eコマース市場において、マーケターは顧客との関係を維持しながら、消費者を望ましい行動に導くため、CRM（顧客関係管理）戦略として、さまざまなタイプのプロモーションを実施しています。メルカリでも、一般的なマーケティング戦略としてプロモーションを活用しています。</p>
<p>お客さまのニーズにより応えるために、パーソナライズされたプロモーションが必要とされており、昨今の研究コミュニティーでもプロモーションのパーソナライズは注目を集めているテーマです。購買予測を応用し、プロモーションの意思決定の最適化なども研究されています。直接購入確率のモデリングと最適化、ビジネス上の利益をもたらすことが分かっていますが、まだまだ改善の余地もあります。</p>
<p>まず、プロモーション経由での購買が完了した場合でも、収益への貢献度は異なります。収益の最大化を目指すためには、購買確率だけでなく、購買金額も考慮する必要があるからです。</p>
<p>次に、プロモーションは購買行動を誘発することができますが、その1回限りとなってしまうことが懸念されます。通常、プロモーションは早い段階での購入や買い置きを引き起こす可能性があるため、プロモーション後の購買の落ち込みは広く観察されます。長期的な顧客エンゲージメントを構築し、顧客ロイヤルティを高めることを目的としたプロモーションを行うためには、プロモーション後の期間についても、その効果を考慮する必要があります。</p>
<h2>研究概要</h2>
<p>本研究では、プロモーション期間中と期間後の収益の観点から、特にスコアが高いお客さまをターゲットとするため、お客さまの直接的反応と永続的反応をモデル化し、プロモーション意思決定のフレームワークを提案しました。直接反応はプロモーション期間中の顧客の反応に対応し、永続反応はプロモーション期間後のお客さまの反応に対応しています。我々のフレームワークは、直接的反応と永続的反応の予測、インセンティブ配分の決定、ビジネスインパクトの評価から構成されています。</p>
<p>我々は各顧客の直接購買性向と永続的購買量の予測を提供する顧客直接効果・永続的効果（CDEE）モデルを提案しました。</p>
<p>このモデルは、インセンティブ配分問題を定式化し、キャンペーンコストを予算内に抑えつつ、永続的購入額の合計を最大化する、お客さまにとって最適なインセンティブの種類を選ぶことを目的としています。</p>
<p>このモデルの効果推定のために、ランダム化比較試験（RCT）データを用い、ビジネス指標にバイアスを配慮した評価アプローチを適用したところ、我々の方法をメルカリでの2つのプロモーションを用いたベンチマークと比較し、モデル評価とビジネス指標の両方で有意な結果が得られました。</p>
<h2>MDS Teamについて</h2>
<p>MDS（マーケティングデータサイエンス）チームでは、統計学、機械学習、数学的最適化を用い、マーケティングキャンペーンの効率を向上させることを目的としています。</p>


メルカリAIチームの研究「Personalized Promotion Decision Making Based on Direct and Enduring Effect Predictions」が KDD2022 1st Workshopに採択されました

<h2>概要</h2>
<p>データマイニングの国際会議であるKDDの、1st Workshop on End-to-End Customer Journey OptimizationにMDSチームの研究が採択されました。本ワークショップは、カスタマージャーニー全体でのユーザー体験向上をテーマとしています。</p>
<h2>発表内容のポイント</h2>
<ul>
<li>メルカリは、マーケティングツールのひとつとして、割引クーポンを採用しており、割引クーポンは、マーケティングキャンペーンに強いビジネスインパクトを及ぼします。</li>
<li>クーポンを発行するタイミングによって、クーポンの効果は左右されるため、本研究では、Uplift Modelingを用い、専用のランダム化比較試験を行うことなく、クーポンの効果に対するタイミングの影響を推定しました。</li>
</ul>
<h2>研究の背景</h2>
<p><a href="https://drive.google.com/file/d/1U8ILIrbPmDh4SBNARgOKomOkcXmBklXE/view">Estimating the Effect of Timing on Coupon Effectiveness</a></p>
<p>メルカリでは、ユーザーが売買を行うための動機付けとして、様々なクーポンを活用しています。マーケティングキャンペーンの効果、ひいては収益への貢献は、キャンペーンで使用するクーポンがいかに有効であるか、ということに強く依存します。マーケティングキャンペーンでどのような効果を得られるかは、様々な要因が挙げられますが、我々はクーポンの配布タイミングに依拠する、という仮説を持っていました。しかし、本仮説の検証のためには、通常、時間と労力がかかるランダム化比較試験が必要となります。</p>
<h2>研究概要</h2>
<p>本研究では、クーポンの配布タイミングがキャンペーン効果に与える影響を測定するために、Uplift Modelingを用いた自然実験を行いました。これにより、個別のランダム化比較試験を行う必要がなくなり、リソースを節約することができました。Uplift Modelingにより、ユーザーのアカウント作成後、素早くクーポンを送信するほど、クーポンの効果が高まることが判明しました。</p>
<h2>MDS Teamについて</h2>
<p>MDS（マーケティングデータサイエンス）チームでは、統計学、機械学習、数学的最適化を用い、マーケティングキャンペーンの効率を向上させることを目的としています。</p>


メルカリAIチームの研究「Estimating the Effect of Timing on Coupon Effectiveness」が KDD2022 1st Workshopに採択されました

<h2>概要</h2>
<p>今回CRE ML Teamによる、チャットメッセージにおける違反検知システムに関する研究「<a href="https://aclanthology.org/2022.ecnlp-1.8/">Textual Content Moderation in C2C Marketplace</a>」が、国際学会 <a href="https://aclanthology.org/">ACL</a>（The Association for Computational Linguistics）のワークショップである<a href="https://sites.google.com/view/ecnlp">ECNLP</a>に採択されました。</p>
<p>ACLは言語処理系における最も権威のある学会の一つであり、開催60回目である今年のACL 2022はアイルランドの首都ダブリンで開催されました。ECNLPは今回で5回目の開催となる、eコマースと自然言語処理に関するワークショップです。</p>
<h2>発表内容のポイント</h2>
<ul>
<li>チャットメッセージの違反検知に機械学習システムを導入</li>
<li>違反検知精度を向上しながら、人力によるマニュアルチェック数の大幅な削減に貢献</li>
<li>メンテナンス性に優れ、継続的な精度向上が可能なシステムを構築</li>
</ul>
<h2>研究の背景</h2>
<p>メルカリでは商品の購入手続き後、出品者・購入者間で、チャットによるコミュニケーションを自由に行うことができますが、誹謗中傷や脅迫行為などは迷惑行為として利用規約で禁止しています。しかし、迷惑行為に該当する可能性があるやりとりを全て事務局が目視でチェックすることは難く、違反行為を検知するシステムによる自動スクリーニングを行っています。</p>
<p>以前は、違反検知のためにキーワード検索などのヒューリスティックを用いていましたが、精度に限界がありました。しかし、出品者・購入者同士のコミュニケーションはトラブルに発展しやすく、違反を見逃してしまった場合のリスクが大きいため、違反検知の再現性（= Recall）を担保する必要があります。また、ヒューリスティックによるスクリーニングを通過したとしても依然として偽陽性は高く、膨大な会話量を人手でチェックしていました。</p>
<p>今回の研究では、このスクリーニングに特化した機械学習モデルを利用したシステムの<br />
導入により、再現性を担保したまま誤検知の数を減らし、結果的に人手によるチェックが必要な会話数を大幅に削減できることを報告しました。</p>
<p><a href="https://aclanthology.org/2022.ecnlp-1.8/">Textual Content Moderation in C2C Marketplace - ACL Anthology</a></p>
<h2>研究概要</h2>
<p>メルカリにおいて、購入者による商品購入手続き後、出品者・購入者は互いに自由にチャットメッセージを送信することができますが、そのテキスト内容はそれ以前に行われていた会話の文脈を引き継いで意味を成している場合があります。そこで我々は送信されるテキスト単体について、違反 / そうでないか、という予測を行うのではなく、それまでの会話の文脈も考慮した上で、推測を行う機械学習モデルを考案し、メルカリの本番環境へ導入しました。</p>
<p>モデル自体は非常に軽量に設計されており、メルカリでやりとりされている膨大なチャットメッセージ全てに対し、合理的なコストで推論を行うことができます。また、今後、利用規約で定められた禁止行為の内容が変化することも考えられるため、違反内容の種類ごとに追加・変更・削除を容易に行えるアーキテクチャを採用しています。機械学習システムによりスクリーニングされた会話は、その後モデレーションスタッフのチェックを受けます。この時の判定は真のラベルとして学習データに追加されます。こうして、違反検知システム内にフィードバックループが構成され、継続的な精度向上が期待できます。</p>
<p>なお、チャットメッセージの不正・トラブル防止観点での確認については、法令を遵守し、お客さまの同意を得たうえで行っております。</p>
<h2>CRE ML Teamについて</h2>
<p>CRE MLチームでは今回採択された論文以外にも複数の機械学習サービスを運用し、お客さまの安心・安全のために技術的な面からサポートを行っております。</p>


メルカリAIチームの研究「Textual Content Moderation in C2C Marketplace」が ACL2022 ECNLP Workshopに採択されました

<p>こんにちは、メルカリのレコメンドチームで ML Engineer をしている <a href="https://twitter.com/MLBear2">ML_Bear</a> です。<br />
普段はメルカリのホーム画面などに表示されるレコメンドパーツの改善を担当しています。今回はメルカリの莫大なユーザーログデータと、出品された商品に付与されているメタデータ(詳細後述)を活用したレコメンドロジック改善事例をご紹介します。</p>
<h2>商品メタデータについて</h2>
<p>メルカリではユーザーの商品検索体験を向上させるため、出品された商品に対して様々なメタデータを付与しています。ファッションアイテムだと色や生地感、家電だと型番といった、主として商品の属性をあらわす様々なデータをメタデータと呼称しています。<br />
今回、私は本やマンガに紐づいているメタデータ (以下、タイトルデータと記載) に着目しました。<br />
メルカリアプリ内では、本やマンガに商品が属するシリーズを表現するメタデータが付与されています。例えば「キングダム 1巻」「キングダム 2巻」「キングダム  25-50巻」「キングダム 全巻」といった商品には全て “キングダム“ というタイトルデータが付与されています。<br />
他方、メルカリではユーザーが閲覧した商品のログは全て記録されています。<br />
そして、そのログとタイトルデータを突き合わせつつ、Item2Vecというレコメンドの手法を利用することでユーザーの興味にあった本やマンガのレコメンドができないかと考え、改善を試みました。</p>
<h2>Item2Vecの活用</h2>
<p>自然言語処理で有名な手法の一つにWord2Vec[1]というものがあります。単語をベクトル化することで様々な処理を行えることを提唱した手法で、比較的枯れた技術であるものの、その汎用性の高さからか、現在も様々な研究や機械学習コンペティション等で利用されています。<br />
それを商品のレコメンドに利用できるように転用したものがItem2Vec[2]という手法です。<br />
実装も学習も比較的簡単なのですがそれなりの精度も出る、非常に使い勝手のいい手法のため、他社さんでも利用事例が紹介されています。ユーザーログが多くない場合は利用が難しいこともありますが、メルカリのように、莫大なユーザー数を抱え、膨大なログが日々蓄積されるサービスとは非常に相性がいいと個人的に思っております。<br />
今回は以下のような方法を用いてレコメンドロジックを作りました。</p>
<ol>
<li>
<p>作品ごとの類似度関係性の算出 (過去Nヶ月のデータを用いて月次でPython処理する)<br />
a. 過去Nヶ月で本やマンガの商品を閲覧したユーザーを抽出<br />
b. ユーザーの過去Nヶ月の商品閲覧履歴を収集<br />
c.セッションごとに分割し、タイトルの羅列を抽出する<br />
d.タイトルの羅列を文章、各タイトルを単語とみなして Item2Vec でタイトルのベクトルを算出<br />
e.タイトルのベクトルを利用し、タイトル同士の関係性 (cos類似度) を算出<br />
f.タイトル同士の関係性データをBigQueryに保管</p>
</li>
<li>
<p>ユーザーへのレコメンドの生成 (過去N時間のデータを用いて毎時BigQuery処理)<br />
a. ユーザーの過去N時間の商品閲覧履歴のうちタイトルデータが紐づけられるものを抽出<br />
b. 「ユーザーが閲覧した商品のタイトルに似ているタイトル」を算出<br />
c. ↑で算出したものを「ユーザーへレコメンドするタイトル一覧」としてBigtableに格納<br />
d. ユーザーがホーム画面来訪時、Bigtable内にレコメンドするタイトル一覧があればそのタイトルを検索してレコメンド商品リストとして表示</p>
</li>
</ol>
<p><img src="https://storage.googleapis.com/prd-engineering-asset/2022/09/9e7796a9-figure_1-1024x684.png" alt="" /><center><br />
Fig1. 商品閲覧ログにタイトルを割り振りセッションに分割するイメージ図</p>
<p><img src="https://storage.googleapis.com/prd-engineering-asset/2022/09/3d14bef2-img_1-473x1024.png" alt="" /><br />
Fig2. 今回作成したレコメンドパーツ「あなたにおすすめの本・マンガ」</p>
<p></center></p>
<p>レコメンドデータの生成や、アプリで表示する際のシステムについて詳細は述べませんが、概要は以下の通りです。全てGCP上で処理しており、Googleさまさまという感じです。</p>
<ul>
<li>商品閲覧ログ周りのデータ処理はほぼ BigQuery で実行 (数億行のログデータを処理するのはBigQueryを利用するのがお手軽簡単)</li>
<li>Item2Vec の計算は Colab 上で Gensim を利用して処理</li>
<li>データパイプラインは Cloud Composer (Airflow) を利用し、毎時 / 月次のデータ処理を実行する</li>
<li>プロダクション環境でのデータストアはBigtableを利用<br />
<h2>Item2Vecの結果について</h2>
<p>Item2Vecで計算した結果をいくつかご紹介します。<br />
以下、<a href="https://radimrehurek.com/gensim/">Gensim</a> で計算したモデルの most_similar 関数を叩いた結果を表示しています。(数値は類似度です)</p>
</li>
</ul>
<p><strong>マンガ「ドラゴン桜」に似ているタイトル</strong></p>
<pre><code>1[(&#039;ドラゴン桜2 17 &#039;, 0.8193),
2 (&#039;エンゼルバンク : ドラゴン桜外伝&#039;, 0.6674),
3 (&#039;東大へ行こう  : ドラゴン桜公式ガイドブック&#039;, 0.628),
4 (&#039;ドラゴン桜わが子の 東大合格力 を引き出す7つの親力 : 龍山高校 親力 特別...&#039;, 0.5366),
5 (&#039;ドラゴン桜公式副読本 16歳の教科書2 勉強 と 仕事 はどこでつながるのか&#039;, 0.5265),
6 (&#039;銀のアンカー : 内定請負漫画&#039;, 0.5145),
7 (&#039;アルキメデスの大戦 &#039;, 0.5118),
8 (&#039;部長島耕作 : バイリンガル版&#039;, 0.5098),
9 (&#039;インベスターz 全巻&#039;, 0.5034),
10 (&#039;ドラゴン桜公式副読本 16歳の教科書 なぜ学び なにを学ぶのか&#039;, 0.4913),
11...</code></pre>
<p>三田紀房先生の作品が並ぶ中、入試関係の副読本が混ざっていたりしますね。私としても予期せぬ結果で非常に面白く思いました。</p>
<p><strong>マンガ「正直不動産」に似ているタイトル</strong></p>
<pre><code>1[(&#039;不動産業者に負けない24の神知識&#039;, 0.5547),
2 (&#039;初心者から経験者まですべての段階で差がつく 不動産投資 最強の教科書 投資家1...&#039;, 0.493),
3 (&#039;クロサギ&#039;, 0.4731),
4 (&#039;世界一やさしい不動産投資の教科書1年生 : 再入門にも最適 &#039;, 0.4692),
5 (&#039;業界で噂の劇薬裏技集 不動産大技林&#039;, 0.4675),
6 (&#039;相続探偵&#039;, 0.4628),
7 (&#039;不動産の未来 マイホーム大転換時代に備えよ&#039;, 0.4405),
8 (&#039;クソ物件オブザイヤー&#039;, 0.4351),
9 (&#039;やってはいけない不動産投資&#039;, 0.4313),
10 (&#039;モンキーピーク&#039;, 0.4291),
11...</code></pre>
<p>(正直不動産でも原作を手掛けられている) 夏原武先生が同じく原作を手がけられているクロサギが出てきました。やはり同じ作者というのは関連性が高いんですね。また、こちらもマンガが並ぶ中に不動産関係の普通の本が並んでいて面白いです。<br />
ちなみに相続探偵というマンガはこのテックブログを書いている今まさにこの瞬間に初めて知ったので、執筆を一旦止めて電子版を買って読んでみましたが、まぁまぁ面白かったです。正直不動産と作風が似ている感じも確かにしました。</p>
<p><strong>小説「坂の上の雲」に似ているタイトル</strong></p>
<pre><code class="language-1[(&#039;翔ぶが如く">2 (&#039;世に棲む日日 全巻&#039;, 0.7067),
3 (&#039;夏草の賦 上下&#039;, 0.6681),
4 (&#039;梟の城&#039;, 0.6624),
5 (&#039;壬生義士伝 上下&#039;, 0.6594),
6 (&#039;花神 上中下&#039;, 0.653),
7 (&#039;関ヶ原 上巻 中巻&#039;, 0.6471),
8 (&#039; 織田信長 &#039;, 0.647),
9 (&#039;功名が辻 &#039;, 0.6468),
10 (&#039;徳川慶喜 最後の将軍&#039;, 0.6324),
11...</code></pre>
<p>司馬遼太郎先生の作品がずらっと並んでいますね</p>
<p><strong>小説「下町ロケット」に似ているタイトル</strong></p>
<pre><code>1[(&#039;下町ロケット ゴースト ヤタガラス&#039;, 0.9246),
2 (&#039;下町ロケット ヤタガラス ゴースト&#039;, 0.9115),
3 (&#039;株価暴落&#039;, 0.8829),
4 (&#039;新装版 銀行総務特命&#039;, 0.8819),
5 (&#039;花咲舞が黙ってない&#039;, 0.8758),
6 (&#039;仇敵&#039;, 0.8756),
7 (&#039;新装版 不祥事 &#039;, 0.8702),
8 (&#039;鉄の骨&#039;, 0.8686),
9 (&#039;金融探偵&#039;, 0.8614),
10 (&#039;銀行仕置人&#039;, 0.8589),
11...</code></pre>
<p>こちらも池井戸潤先生の作品が並んでいます。メルカリで小説を探される方は、同じ作者のいろいろな商品をご覧になることが多いのかもしれません。</p>
<h2>レコメンドロジックのABテスト</h2>
<p>さて、Item2Vecが完成したので、(Book2Vecという名前もちゃっかりつけて) ABテストを回しました。<br />
メルカリではあらゆる改善をABテストで定量的に評価する文化が根付いています。ABテスト標準化の試みについては、同チームの yaginuuun が発表した資料もあるのでそちらも参考にしてください。(<a href="https://speakerdeck.com/shyaginuma/btesutobiao-zhun-hua-hefalsequ-rizu-mi">Slides</a>)<br />
結論としては、(具体的な数値は伏せますが) それなりに良い結果を出すことができ、自分の作ったレコメンドロジックは無事採用となりました。現在はホーム画面以外でも同じロジックを活用するべく、鋭意開発を行っているところです。<br />
自分が考えて実装したロジックが、数千万人が使うサービス上で動き続けることが決まった時の喜びは、メルカリのエンジニアとして働く醍醐味だと思っています。</p>
<h2>We’re Hiring!</h2>
<p>今後も引き続き、本やマンガ以外のメタデータや、その他にメルカリが抱えている膨大なデータを使ってレコメンドロジックの改善を行っていく予定です。<br />
普段からメルカリアプリを使ってくださっている方は薄々感じていらっしゃるかもしれませんが、メルカリのレコメンドロジックにはまだまだ手をつけられてないところがたくさんあり、改善の余地だらけです。<br />
莫大なアクセス量があるがゆえに、複雑なロジックは本番環境で利用できないと言った難しさがあるのも事実ですが、その反面、一発当てればものすごく大きな経済的価値を生み出したりもできます。これからもユーザーが良い商品に出会える仕掛けづくりをやっていきたいと思っています。<br />
少しでも興味を持っていただいた方は、僕にでも、周りのメルカリの知り合いにでも、お気軽にお声がけいただければ幸いです。ではまた。</p>
<p><a href="https://apply.workable.com/mercari/j/3333DC5597/">Software Engineer, Machine Learning &amp; Search &#8211; Mercari</a></p>
<h2>参考文献</h2>
<p>[1] Mikolov T, Sutskever I, Chen K, Corrado GS, Dean J. Distributed representations of words and phrases and their compositionality. In Proceedings of NIPS 2013 (pp. 3111-3119).<br />
[2] Oren Barkan and Noam Koenigstein. 2016. Item2vec: Neural item embedding for collaborative filtering. arXiv preprint arXiv:1603.04259.</p>


Item2vecを用いた商品レコメンド精度改善の試み

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリAIチームのブログです。AI技術や組織にまつわる情報などを日々発信していきます。

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

メルカリAIチームの研究「Strategic Coupon Allocation for Increasing Providers’ Sales Experiences in Two-sided Marketplaces」がKDD2024 TSMO 2024 Workshop採択されました

メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

メルカリのMLチームは組織課題をどう解決してきた？エンジニアが社内横断Guildを立ち上げた話

メルカリのAIチームがNLP2024にてポスター発表を行いました『過去クエリを介した関連文書検索システム』

LLMを活用した大規模商品カテゴリ分類への取り組み

Articles

メルカリAIチームと半熟仮想株式会社らの共同研究論文「Counterfactual Learning with General Data-generating Policies」がAAAI 2023に採択されました

メルカリにおける機械学習による検索のリランキングへの道のり

レコメンデーションチームを立ち上げたPMが振り返る、メルカリのディスカバリー体験のこれまでとこれから

メルカリでエンジニアとPMのキャリアを行き来する中で見えたこととは

メルカリAIチームの研究「Personalized Promotion Decision Making Based on Direct and Enduring Effect Predictions」が KDD2022 1st Workshopに採択されました

メルカリAIチームの研究「Estimating the Effect of Timing on Coupon Effectiveness」が KDD2022 1st Workshopに採択されました

メルカリAIチームの研究「Textual Content Moderation in C2C Marketplace」が ACL2022 ECNLP Workshopに採択されました

Item2vecを用いた商品レコメンド精度改善の試み