Edge AIチームが実現する、iOSとWebのリアルタイム出品スキャン

「MERCARI GEARS Lecture Series」は、株式会社メルカリをはじめとするメルカリグループ各社が、これから目指す方向や、技術的なチャレンジについて紹介するエンジニア向けの動画シリーズです。

今回のMERCARI GEARSでは、メルカリのEdge AIチームが開発する、iOSとWebのリアルタイム商品スキャン機能について紹介しています。

Edge AI - Realtime Item Scan for iOS and Web [AI@Mercari]

メルカリでは「AI出品」と呼ばれる、出品する商品写真をアップロードした際、そのアイテムのカテゴリやブランド、売れやすい価格などを提案する機能があります。

「AI出品」でレコメンドを行うには、商品写真を撮影・アップロードする必要があったのですが、今回Edge AIチームは、カメラを起動し、商品にピントを合わせた時点でアイテムのレコメンドを可能にしました。

より素早く・快適な出品体験を実現するために、近年のスマートフォンの進化を利用した計算コストの低いMLモデルを実現しました。その結果、計算サーバーと往復させることなく、スマートフォン上で直接提案を行うことができるようになりました。

学習モデルへの量子化の適応・推論を行うための処理時間・デバイスとの相性の改善、実装後のパフォーマンスモニタリングのツール開発…等、さまざまなポイントに関して工夫を行っており、動画内で詳しく解説をしております。ぜひご覧ください。