映像がアナログからデジタルに移り変わっていった頃、SD画質のDVDビデオでも当時は十分に綺麗だと感じていましたが、HDやフルHD画質が当たり前になった現在では自然とSD画質の映像の粗さが目に付くようになり、古臭さすら感じるようになりました。最近では昔のアニメをアップコンバートした物をたまに衛星放送で見かけますが、現在では個人のPCで昔の映像をアップコンバートして高画質化する事が可能です。
アップコンバートやアップスケーリングと呼ばれる技術において個人向けのソフトウェアで最も評価が高く有名なのがTopaz Video AIです。価格は$299で現在の為替だと約45,000円と高価で、しかも永続的に使用する事は出来ますがアップデートは1年まで、それ以降のアップデートではライセンスの更新が必要になり、半サブスクリプションのような形態となっています。
Topaz Video AIのような高価なソフトではなくアップコンバートが行える無料のフリーソフトが無いものかと探し回って見付けたのが今回記事にするVideo2Xです。Video2Xは画像や動画の解像度を2倍や3倍、4倍に綺麗に拡大する事が出来るオープンソースのソフトウェアで、libplacebo、Real-ESRGAN、Real-CUGANの3つのフィルターから更に様々なモデルを選択して画像や動画の映像を高解像度化する事が出来ます。但し期待しすぎるのは禁物で、画質がかなり悪い実写では塗り潰したような映像になりがちで、使用するフィルターやモデル次第ではありますが変換時間もかなり掛かります。また、アップコンバート以外にフレーム補完により映像の動きを滑らかにする機能も備えています。
対応OSの詳細な記載はありませんがWindows 11で動作を確認、他にLinux用も配布されています。動作環境はAVX2対応のCPU（Intel Core iやAMD Ryzenシリーズ）、NVIDIA GTX 600以降、またはAMD Radeon HD 7000以降、Intel HD Graphics 4000以降のGPUが必要です。
入力出来る形式は筆者が確認した所ではmp4, mpg, avi, wmv, png, jpg, gif, bmp, tiff, webpが可能でした。出力は動画の場合、標準でmkvとなりますがmp4形式に変更可能。映像はH.264/MPEG-4 AVC、音声は入力したソースのコピーか無音での出力。画像の場合はpng形式での出力となります。
Video2X ダウンロード
Video2XはGitHubで配布されています。該当ページからreleasesページへ移動してAssetsの欄からプログラムをダウンロード出来ます。qt6の記載のある物がGUI付属なのでこれを選択。更にインストーラ版とZIP版があるので筆者はZIP版をダウンロードしました。
インストーラをダウンロードした場合はセットアップウィザードに従ってインストール、ZIP版をダウンロードした場合は圧縮ファイル展開後、フォルダ内の「video2x-qt6.exe」を実行して起動。初回起動時に「自動的に更新を確認するようにしますか?」と表示されるので、お好みで選択。更にVisual C++がインストールされていない場合は警告が表示されるので、一旦Video2Xを終了してVisual C++をダウンロード、インストールしておいて下さい。
Video2X 使い方
殆ど必要はありませんが、Video2Xの上部メニューにある「編集」から「設定」で設定画面を一通り確認しておきます。「一般」では言語の変更の他、初回起動時に行ったアップデートの確認の有無を設定出来ます。「処理」では変換終了後にシャットダウンやスリープさせるといった動作の指定や完了したタスクを自動削除するかの指定、「詳細設定」では設定ファイルが保存されているフォルダの表示と全ての設定を初期状態にリセットするボタンが配置されています。
画面内にファイルをドロップして入力すると「新しいタスク」画面が表示されます。殆どの方はアップコンバート目的で使用されると思われますが、「処理モードを選択」で「フレーム補完」に切り替える事も出来ます。「フィルターを選択」では現在3種の中から選択出来るようになっていますが、選択したフィルターによって使用出来るモデルも変化します。「スケーリング係数」は拡大する倍率で2倍から4倍まで選択出来ますが、使用するモデル次第で4倍固定になる事もあります。
3種のフィルターの特徴についてざっと下に記載します。
- libplacebo
- 説明では「対応GLSLシェーダーをサポート。内蔵のAnime4Kシェーダーはアニメ専用。非常に高速だが、Real-ESRGANやReal-CUGANより画質が劣る。」とあります。筆者が確認した所では変換処理はGPUではなく殆どCPUが使われているようで、CPUの性能次第では他のフィルターより変換が速いかもしれません。また、このフィルターのみ出力解像度を直接指定する事が出来ます。
- Real-ESRGAN
- 説明では「実写とアニメの両方の動画に対応。最高の画質を提供するが、処理速度は遅め。」とあります。恐らく実写でもアニメでもこのフィルターが推奨されていると思われます。選択出来るモデルは実写用の「realesrgan-plus」、アニメ用の「realesrgan-plus-anime」、同じくアニメ用の「realesr-animevideov3」の3つで、「realesrgan-plus」と「realesrgan-plus-anime」は4倍固定となっています。唯一の実写用である「realesrgan-plus」は筆者の環境では8秒の動画の変換に約6分40秒かかり、確実に高画質化したものの実用性は感じられませんでした。
- Real-CUGAN
- 説明では「Bilibiliのアニメ用超解像モデル。異なるノイズ除去レベルをサポート。」とあります。選択出来るモデルは2倍固定の「models-nose」、2倍と3倍が選択出来る「models-pro」、2倍、3倍、4倍から選択出来る「models-se」の3つ。あえて実写映像を変換してみましたが、ノイズが大幅に軽減され悪くない印象。変換時間は8秒の動画で15秒となり実用範囲内でした。
エンコーダーのオプションタブに切り替えると出力の設定が行えます。「suffix」の欄は標準で「.mkv」となっていますが「.mp4」に書き換えるとmp4形式で出力可能。他、平均ビットレートや最小/最大ビットレート、音声/字幕のコピーか無効かを変更出来ます。
設定後、開始ボタンで変換実行。完了すると「すべての動画が正常に処理されました。」と表示され、入力元と同じ場所に変換されたファイルが保存されます。
せっかくなのでフレーム補完もやってみました。アップスケールと比較すると変更出来る項目は少なめ。倍数を2、モデルは標準の「RIFE v4.26」にして30fpsの動画を変換。MediaInfoで確認してみた所、しっかり指定通り2倍の60fpsになっていましたが、動画が滑らかになったかは感覚的には良く分かりませんでした。
Video2Xでの高画質化の検証
動画で行った検証結果を掲載するのは大変なので、画像で検証を行った結果を掲載します。Video2Xはアニメに強いようなので、まずはStable Diffusionでアニメ風の画像を作成しました。これを意図的に劣化させた画像が左になります。左の画像をVideo2Xに入力してフィルターを「Real-ESRGAN」、モデルを「realesr-animevideov3」、倍率を2にして変換。出力した画像は解像度も容量も大きくそのまま掲載出来ないので、2倍にした解像度を再び半分に戻しwebp形式に変換したのが右の画像となりますが、かなりノイズが軽減されて高画質化したのが確認出来ます。
同じくStable Diffusionで実写風の画像を作成してVideo2Xでフィルターを「Real-ESRGAN」、モデルを「realesrgan-plus」にして変換。かなり綺麗にはなりましたが、これより変換元の画質が悪いと、塗り潰したような画になります。また、画像の変換は直ぐに終わりますが、上でも書いたように「realesrgan-plus」を使って動画を変換した場合は途方もない時間が掛かるので、動画での変換に使用する場合は短時間の物に限られます。
Video2X 備考
無料でこれだけ出来るなら十分凄いと思いますし、難しい設定も無く簡単に使えて素晴らしいソフトだと感じました。特に古いアニメをアップコンバートして高画質化するには最適だと思われます。実写動画の場合は実写用モデルの「realesrgan-plus」が遅すぎて実用性が無いので、妥協してアニメ用モデルの「realesr-animevideov3」で倍率2倍にして変換してみましたが、8秒の動画の変換が15秒で終了して許容範囲内だったのと、画質も全体的にテカったようにはなりますが悪くない印象でした。
実際に使用する際には出来るだけ短い動画を用意してフィルターの違いや画質の変化、終了するまでの時間を検証してから本格的に変換する事をお勧めします。特に変換目的の動画を部分的に切り抜いて検証すると失敗して無駄な時間を浪費する事が無くなります。因みに動画の部分的な切り抜きにはAvidemuxがお勧めです。
コメント