BiM-VFIフレーム補間：高精度な動画フレーム生成技術を徹底解説

この記事では、KAIST-VICLabが開発した革新的な動画フレーム補間技術「BiM-VFI」について詳しく解説します。BiM-VFIは、非一様な動きを持つ動画において、より自然で滑らかなフレームを生成することを可能にします。研究・教育目的での利用はもちろん、高品質な動画編集を目指す方にも役立つ情報を提供します。

BiM-VFIとは？

BiM-VFIは、Bidirectional Motion Field-Guided Frame Interpolationの略で、双方向の動き場を利用してフレーム補間を行う技術です。特に、動画内の動きが一定でない場合に、従来の技術よりも優れた補間結果が得られます。

この記事でわかること

• BiM-VFIの概要と特徴
• 環境設定と必要なライブラリのインストール方法
• 学習済みモデルのダウンロード先と評価方法
• 自身のデータセットでBiM-VFIをトレーニングする方法
• デモ動画の作成手順
• ライセンス情報

環境設定：BiM-VFIを始めるための準備

BiM-VFIを使用するには、以下の手順で環境を設定する必要があります。

1. conda環境の作成:

   conda create -n bimvfi python=3.11
   conda activate bimvfi
   

   Copy
2. 必要なライブラリのインストール:

   pip install basicsr-fixed Ipython torchsummary wandb moviepy pyyaml imageio packaging tqdm opencv-python tensorboardx ptflops pyiqa lpips stlpips_pytorch dists_pytorch torch==2.4.1 torchvision==0.19.1
   conda install cupy -c conda-forge
   

   Copy
   これらのライブラリは、BiM-VFIの実行に必要なものです。

学習用データセットの準備

BiM-VFIをトレーニングまたは評価するには、適切なデータセットが必要です。以下のデータセットが推奨されています。

• Vimeo90K: 一般的な動画フレーム補間タスクで使用される標準的なデータセット。
• SNU-FILM: KAIST-VICLabが独自に開発した、より複雑な動きを持つ動画を含むデータセット。
• SNU-FILM-arb: SNU-FILMの亜種で、アーティフィシャルな動きを持つ動画が含まれます。
• X4K1000FPS: 高フレームレートの動画データセット。

データセットのダウンロード

上記のデータセットは、以下のリンクからダウンロードできます。

• Vimeo90K
• SNU-FILM
• SNU-FILM-arb
• X4K1000FPS

SNU-FILMデータセットの準備

SNU-FILMおよびSNU-FILM-arbデータセットを使用する場合は、評価モードのテキストファイルを適切なディレクトリに移動する必要があります。

mv test-[easy, medium, hard, extreme].txt <PATH_TO_SNU_FILM>/eval_modes
mv test-arb-[medium, hard, extreme].txt <PATH_TO_SNU_FILM>/eval_modes

学習済みモデルの利用と評価

BiM-VFIの学習済みモデルを使用すると、すぐにフレーム補間を試すことができます。

学習済みモデルのダウンロード

こちらから学習済みモデルをダウンロードできます。

評価方法

cfgs/bimvfi_benchmark.yamlファイル内のbenchmark_datasetセクションを編集することで、評価に使用するデータセットを指定できます。

• name: ベンチマークを行うデータセットの名前（vimeo, vimeo_septuplet, snu_film, snu_film_arb, xtest）。
• args:
  • root_path: 各データセットのパス。
  • split: 評価に使用するデータセットの分割（vimeoとvimeo_septupletの場合は[test, val]、snu_filmとsnu_film_arbの場合は[easy, medium, hard, extreme]、xtestの場合は[single, multiple]）。
  • pyr_lvl: ピラミッドレベル（vimeoの場合は3、snu_filmの場合は5、xtestの場合は7）。
• save_imgs: 補間結果を保存する場合はTrue、そうでない場合はFalse。

設定後、以下のコマンドを実行して評価を行います。

python main.py --cfg cfgs/bim_vfi_benchmark.yaml

BiM-VFIのトレーニング

BiM-VFIをご自身のデータセットでトレーニングすることも可能です。

単一GPUでのトレーニング

python main.py --cfg cfgs/bim_vfi.yaml

複数GPUでのトレーニング

GPU番号0, 1, 2, 3を使用してトレーニングを行う場合：

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --nproc_per_node 4 main.py --cfg cfgs/bim_vfi.yaml

WandBとの連携

WandBを使用してトレーニングの進捗を追跡する場合は、wandb.yamlファイルを編集し、以下のコマンドを実行します。

python main.py --cfg cfgs/bim_vfi.yaml -w

デモ動画の作成

BiM-VFIを使用して、カスタム動画のフレーム補間を行うことも可能です。

1. まず、デモ用のルートディレクトリを設定します。

   demo_root/
   ├── video1.mp4
   ├── video2.mp4
   └── video3/
       ├── img0.png
       ├── img1.png
       └── ...
   

2. cfgs/bim_vfi_demo.yamlファイル内のroot_pathを、設定したルートディレクトリに変更します。

3. 以下のコマンドを実行します。

   python main.py --cfg cfgs/bim_vfi_demo.yaml
   

   Copy

ライセンス

BiM-VFIのソースコードおよびチェックポイントは、研究および教育目的でのみ自由に使用できます。商用利用を希望する場合は、主任研究者 (Prof. Munchurl Kim, [email protected]) から正式な許可を得る必要があります。