メルカリAIチームの研究「LLMOps for Eval-Driven Development at Scale」がFOSSASIA Summit 2025に採択されました

概要

この度、メルカリAIチームのエンジニアTeofilo Narboneta ZosaとJehandad Kamalによる論文「LLMOps for Eval-Driven Development at Scale（大規模な評価駆動開発のためのLLMOps）」が、FOSSASIA Summit 2025に採択されたことをお知らせいたします。

FOSSASIA Summitは、アジアのフリー・オープンソースソフトウェア（FOSS）のコミュニティをターゲットにした年次イベントです。このサミットは、開発者、エンジニア、コミュニティメンバー、企業リーダー、オープンソース愛好者などが集まり、最新の技術トレンドやオープンソースプロジェクトを共有し、学ぶ場として設けられています。

発表内容のポイント

メルカリは、DevOps、MLOps、そして最近ではLLMOpsの開発を推進しており、エンジニアの開発速度と品質にたいして大きな貢献をしており、ソフトウェアの品質とエンジニアの開発体験の両面で効果を生んでいます。本講演では、プロンプト管理、評価、LLMアプリケーションの可観測性から、最も野心的なプロジェクトの成功に重要だったLLMOpsの重点分野とOSSソフトウェアについて掘り下げます。これらのプロジェクトはすでに、日本最大のC2C eコマースマーケットプレイスであるメルカリの2300万人以上のユーザーに比類のない顧客価値を提供しています。

研究の背景

過去10年間で、DevOpsはソフトウェア開発のスタイルを変革し、堅牢で保守可能なソフトウェアをもたらしました。信頼性が高く、短時間での開発を可能にしています。ここ数年では、同じDevOpsと同じく、ML Opsという考えがAI開発にも適用されています。最初はMachin Learning領域から開始され、現在は生成AIにまつわるアプリケーションにも適用されています。目標は変わらず、高速かつ大規模に高品質なソフトウェアを提供することです。

研究概要

メルカリのAI/LLMチームのメンバーは、今回スケールにおいて高品質な生成AIアプリケーション開発のための手法を紹介しました。具体例として、メルカリのAI出品機能を取り上げ、メルカリのAIエンジニアと専門家がどのように効果的に協力し、評価に基づく開発や密接なコラボレーションを通じ、AI開発のサイクルを強化し、お客さまにとって価値のある機能提供に繋げているのか紹介しました。

Eliza Teamについて

メルカリのElizaチームは、AIとLLM（大規模言語モデル）に特化したチームであり、メルカリ社内における生成AIの活用とLLMの実用化、さらには既存のAIテクノロジーを活用して、より便利なサービスを構築することを目指しています。社内外の生産性向上および新しいAIツールの開発と展開における役割を担っています。