MLプラットフォーム
Last Updated :
Summary
メルカリでは、インフラとコンピュータリソースを効率的に稼働させ、機械学習を促進するMLプラットフォームを構築しました。MLエンジニアが効率的、かつ安全に実験やデータ処理を行い、その結果を迅速に本番稼働に乗せるための柔軟性を実現しています。
Purpose
メルカリのMLプラットフォームを開発、改善することです。これは、MLエンジニアがメルカリのデータを用いて実験できる、すべての機能を備えたMLインフラとオーケストレーションシステムになります。
Description
機械学習では学習モデル以外にも様々なコンポーネントがあります。実験を再現するためには、モデルを開発および実行できる安定した環境が必要です。MLプラットフォームは、MLエンジニアがモデル開発、そして持続的パイプライン構築に集中できるよう設計されており、多くのオーケストレーションを自動化することで開発プロセスを簡素化しています。
MLエンジニアはインフラやリソースの要件にとらわれず、モデルを開発できます。また、新しいモデルを試したり、データ調査を行うためのノートブックを簡単に作成できます。そしてプロジェクトの成果を構想段階から、全機能を備えたエンドツーエンドのMLモデルパイプラインへ素早く移行できます。