メルカリAIチームの研究「LLMs as an Interactive Database Interface for Designing Large Queries」がSIGMOD 2024のHILDA Workshopに採択されました

この度、メルカリAIチームのエンジニアYilin LiとDeddy Jobsonによる論文「LLMs as an Interactive Database Interface for Designing Large Queries」が、データマネジメント分野の国際会議「SIGMOD 2024（The ACM Special Interest Group on Management of Data）」のHILDA Workshopに採択されたことをお知らせいたします。

SIGMOD 2024 はデータマネジメントの分野で最も権威ある国際学会の一つであり、世界中の研究者らによって毎年開催されています。開催49回目である今年の「SIGMOD2024」は、チリ、サンティアゴにて2024年6月9日から14日まで開催されました。

発表内容のポイント

• 現在のText2SQLは、メルカリの規模のデータベースに対して拡張されると、不正確なクエリを生成してしまうことがあります
• 今回の論文では、SQLクエリを反復的に微調整するために、人間のフィードバックを取り入れるシステムを構築しました
• 次のイテレーションでは、Schema Linkingを改善するためにナレッジグラフを活用を検討しています

研究の背景

大企業において、SQLクエリの作成は時間を要し、骨の折れる作業になります。必要なデータは複数のテーブルに散在しており、またこれらのデータは常に更新されるため、専門外のメンバーなどが一回限りのデータ分析タスクのためにクエリを作成することは極めて難しくなります。

研究概要

メルカリにおけるデータの民主化を進めるべく、テキストからSQLへの変換を行うLLMを利用したソリューションを実装します。すでに既存の多くの方法が存在する一方で、検出が困難なエラーを引き起こす傾向も見られました。そのため、Text2SQLを一回限りの生成プロセスとして扱うのではなく、人間が介入するインタラクティブな問題として捉えます。我々は、クエリをエンドユーザーに返す前に検証ステージと人間のフィードバックを含むシステムを構築します。今回の提案手法は、エラーを減少させ、より有用なクエリを生み出すことができます。

Customer Understanding Teamについて

Customer Understandingチームは、統計学、数理最適化、大規模言語モデルなど、様々な技術を活用し、メルカリグループのお客さまの行動を分析し、カスタマージャーニーとLTVを最適化するための戦略の提案を行っています。