前回の記事でアップコンバート、もしくはアップスケーリングと呼ばれる技術で動画を高画質化出来るVideo2Xの記事を掲載しましたが、Video2Xが比較的アニメ向けで実写向きではなかった事から、今回は実写映像のアップコンバートにも実用的なREAL Video Enhancerの記事を掲載します。
REAL Video Enhancerは自身で細かくフィルターを設定したりする必要無く自動でノイズを除去して動画の解像度を綺麗に拡大、設定によっては同じ解像度で高画質化出来るオープンソースの動画変換ソフトです。他にフレーム補完により動きを滑らかに変換する機能や、圧縮してファイルサイズを削減する機能も備えています。Video2Xとの比較では実写映像用のモデルが多数含まれていますが、動画変換専用で画像の入力には非対応、使用出来るエンコーダが多く音声も同時に変換可能、導入がやや面倒といった違いがあります。
対応OSはWindows 11/10他、Linux、macOS用も開発されています。動作環境はデュアルコア以上のCPU（推奨クアッドコア以上）、Vulkan 1.3対応GPU（推奨RTX 20シリーズ以上）、VRAM 4GB（推奨8GB以上）、メモリ 8GB（推奨16GB）、ストレージは推奨で16GB以上の空き容量となってますが、ポータブル版で必要なファイルをダウンロードした際の使用容量は約8.6GBとなりました。
入力出来る形式はmp4, mkv, mov, webm、出力は標準でmkv、他にmp4, mov, webm, aviに対応。映像の変換はH.264/MPEG-4 AVC, HEVC/H.265, vp9, AV1、音声の変換はaac, mp3の他に入力元のコピー、無音での出力となっています。
REAL Video Enhancer ダウンロードと準備
REAL Video EnhancerはGitHubで公開されています。該当ページからReleasesのページへ移動してAssetsの欄からダウンロード出来ますが、Pre-Releaseとなっている物はまだ開発途上の物なので避けた方が無難。この記事を書いている時点で最新は2.3.4となっています。また、通常のインストーラ版とポータブル版の2種類が配布されていますが、筆者はポータブル版をダウンロードしました。
インストーラ版をダウンロードした場合は実行後、セットアップウィザードに従ってインストール、ポータブル版をダウンロードした場合は圧縮ファイル展開後、任意の場所に配置。「REAL-Video-Enhancer.exe」を実行すると初回時にPython、FFMpeg、Visual C++のダウンロード、インストールが実行されます。
自動で行われるダウンロード、インストールが終了すると「Welcome to REAL Video Enhancer!」と表示され、REAL Video Enhancerの画面が表示されます。まずここから最低1つのBackend（背後で動作するプログラム）をインストールする必要があります。殆どの環境ではNvidia RTX 20シリーズ以上で動作する「TensorRT」をダウンロードボタンからダウンロードしておけば良いのですが、RTX 20シリーズより古いGPUを使用されている場合は「PyTorch」、それ以外のAMDなどのGPUなら「NCNN Vulkan」で動作するようです。因みに「TensorRT」はスクロール画面下に隠れています。
「Continue installation?」と表示されたら「Yes」でダウンロードを実行。ここからダウンロードの進捗情報が表示されますが、筆者の環境では終了するまでに約20分ほど掛かりました。終了するまで気長に待ちましょう。終了すると「Download Complete」と表示され再起動を促されるので、REAL Video Enhancerを一旦終了してから起動し直します。
REAL Video Enhancer 使い方
REAL Video Enhancer起動後、左端下にある歯車のアイコンボタンから設定画面が表示されます。「Output folder directory」で変換したファイルの標準出力先を変更出来ます。他、「Scene Change…」はシーン変更検出機能の有無、その下の「Method」は検出方法の選択、「Threshold」が閾値、「Audo Border Cropping」が映像端に黒帯があるような場合に自動で切り取る機能の有無を設定します。
設定の上部メニューを「Encoders Settings」に切り替えます。「Video Encoder」で映像変換に使用するエンコーダを変更出来ます。標準で「libx264」となっておりH.264形式に変換されますが、「libx265」や「x265_nvenc」を選択してH.265にしたりav1に変える事も出来ます。他、コンテナの変更や「Audio Encoder」で音声の変換に使用するエンコーダの指定が出来ます。
上部メニューの「Render Settings」にある内容は難しすぎてさっぱり分からないので一切触っていません。「RVE Settings」では変換時のプレビュー表示の有無やDiscordとの連携設定があります。これら設定は右下にある「Reset Settings」ボタンから初期状態に戻す事が出来ます。
左端上にあるCPUアイコンのボタンで変換画面を表示します。「Select Input File」から変換元の動画ファイルを入力。直接画面にファイルをドロップして入力出来ないのがちょっと不便。ファイル入力後、フレーム補完する「Interpolate」、圧縮してファイルサイズを削減する「Decompress」、アップスケールで高画質化する「Upscale」の中から機能を選択。全て同時に行うといった事も出来ますが、今回は「Upscale」のみ有効化して進めます。
「Upscale Model」から変換に使用するモデルを変更出来ます。(Realistic)となっているのが実写用で、(Animation)となっているのがアニメ用。実写用モデルには「OpenProteus」、「Nomos8k」の高画質用、中画質用、低画質用、「RealisticVideo」が用意されています。筆者は変換に実写しか試していませんが、この中では「RealisticVideo」が一番高画質化出来ました。
更に下にある「Upscale Scale」で倍率を設定。最小で1にすると入力元と同じ解像度で出力、最大の4にすると解像度を4倍にして出力するという事になります。ソースの画質次第ではありますが、2倍辺りでの出力がお勧めです。
少々分かり辛いのが、設定後は「Add to Render Queue」をクリックしてキューに登録しておく必要があります。上部メニューの「Render Queue」から登録されたキューを確認可能。同じ手順を繰り返して複数のキューを登録し、纏めて変換するといった事も出来ます。最後に下部の実行ボタンで変換を実行します。
REAL Video Enhancerでの高画質化の検証
今回もStable Diffusionで作成した画像を使ってどの程度、高画質化出来たかの検証結果を掲載しますが、REAL Video Enhancerでは画像の入力は出来ないので一旦画像から動画を作成してREAL Video Enhancerで変換、変換した動画から画像を切り出して掲載するという回りくどい事を行っています。
まずは変換元となる動画の画質が下の画像となります。解像度は640×480で、意図的に画質を落としてブロックノイズが目立つようにしています。
REAL Video Enhancerで変換した結果が下の画像です。使用モデルは「RealisticVideo」、倍率は1と2の両方で行いましたが画質がほぼ同じだったので1倍で変換した動画から画像を切り出しました。更にwebp形式に変換しているので若干画質が落ちているかもしれませんが、十分に高画質化したのが分かると思います。
おまけでTopaz Video AIで変換した動画から切り出した画像が下になります。流石にお高目なソフトだけあってクオリティが一段上という印象。
REAL Video Enhancer 備考
RTX 3060のビデオカードを装着したPCで解像度640×480、長さ20秒の動画をモデル「RealisticVideo」で2倍に変換して掛かった時間が約44秒でした。変換速度はPCの性能次第、特にGPUの性能によって大きく変わりますが、Video2Xで実写用モデルを使用した変換がとてつもなく時間が掛かった事を考慮すると、この速度は十分に許容範囲だと思われます。Topaz Video AIには到底及ばないクオリティではあっても無料で使用出来る事を考えればかなり優秀なソフトだと言えます。
欠点としては導入までが少々面倒なのと、日本語には対応していない事から所々分かり難い設定もあるので初めて使用した時は困惑しました。他、出力解像度は倍率では無く直接数値を入力して設定出来るようになれば良いのにとか思う所はありますが、現在も鋭意開発中のようなので今後に期待しています。
コメント