Netflixのなかの人が作った、どんぴしゃのサムネイルを抽出させるアルゴリズム「AVA」

自分で撮った動画にも使ってみたい！

映画とかドラマって楽しいんですが、見るのに時間がかかります。でも作品のWebサイトやらチラシやらに、ある場面がキャプチャされた画像が何枚かあると、だいたいの雰囲気とか見どころがわかります。

が、そんな見どころ画像を抜粋する作業には、単に作品を通して見るよりはるかにたくさんの労力がかかっていたようです。それを大幅に軽減すべく、Netflix（ネットフリックス）が開発したシステムがAVAです。NetflixのテクノロジーチームがAVAについて解説してくれています。

その解説によると、通常1時間のドラマは8万6000枚という膨大なコマで構成されています。AVAではそれをざっくりふたつのステップでふるいにかけ、よさげなコマを抽出してくれるんだそう。

ひとつめのステップでは、動画を細かいパートに切りわけ、そこに画像の明るさや色合い、構図がいいかどうかといったメタデータを付与していきます。次のステップで各コマの俳優の映り具合や、ロングショットなのかクローズアップなのか、性的・暴力的描写の有無といった要素を加味し、コマをランキングにします。こうして膨大なコマがそれぞれランクづけされることで、作品の要約となるような抜粋画像を取り出しやすくなるというわけです。

これによって、どれくらい画像選別作業が楽になったのかは書かれていません。が、画像の羅列をただ見ていくのと、上記の付加情報を手がかりにして作業するのとでは効率が全然違うだろうと想像できますね。Netflix内部のこうした作業が軽減されれば、それで節約されたエネルギーがより面白い企画やコンテンツにつながっていくかもしれません。

今回解説されているのは、Netflixの内部向けツールではありますが、映画やドラマに限らない動画全般の検索にも役立ちそうな気がします。たとえばスマホで撮った動画から「子どもが笑顔できれいに写った顔写真を抜き出したい」みたいなときにとても便利なんじゃないでしょうか？ 動画コンテンツが爆発的に増えている今、こういうふうに動画を整理する技術がもっといろいろ出てきて、一般化してほしいですね。

Image: Ivan Smuk/Shutterstock.com
Source: Netflix Technology Team

（福田ミホ）

ギズモード・ジャパンで全文を見る