GPUを使った画像エンコードや動画配信に関するテクニック

42.　CPU内蔵のエンコード機能を利用する　　　難易度★★★

　Intel製CPUに内蔵されている動画エンコーダ、Quick Sync Video（QSV）は、H.264/AVC（第2世代Core以降）およびH.265/HEVC（第6世代Core以降のみの対応）を超高速でエンコードできる。だがビデオカード装着済みの環境では、内蔵GPU自体が無効になるため、動画エンコードアプリからQSVを利用することができなくなる。こういう場合はUEFIセットアップを開き「iGPU Multi-Monitor」などといった名称の設定を“Enabled”にしよう。この後内蔵GPUドライバを導入すれば、エンコードアプリからQSVが利用可能になる。

　ただし、システムの構成や使用するエンコードアプリの組み合わせによっては、うまく動作しないこともある。確実にQSVを使いたいなら、ビデオカードを抜いて内蔵GPUのみの環境にするしかない。

QSVの利用には内蔵GPUを有効にする

ビデオカードありの環境でQSVを有効にするには、UEFI上でビデオカードとCPU内蔵GPUの両方を使ったマルチモニタ環境を有効にしておく

TMPGEnc Video Mastering Works 6の設定画面。QSVが検出され、ハードウェアエンコードが有効になっている

43.　ゲームプレイ動画の録画・配信環境を整える　　　難易度★★★

　ゲームのプレイ動画を録画するには「Bandicam」のような録画アプリを使うのが定番。だがGeForceならGFEの「ShadowPlay」、RadeonならAGEの録画／配信機能を使えば、追加費用ゼロで録画や配信環境が整う。

　まず録画機能だが、プレイ中は常時録画扱いとなり、ホットキーを押した瞬間から指定秒数さかのぼった動画を保存する機能がメイン。スーパープレイを決めた瞬間を残したいときに活躍する。一方ライブ配信機能はいずれも現在はTwitch.tvへの直接配信のみサポート。ニコ生やYouTubeへのライブ配信にこだわる場合は、別の配信ツール（XSplitなど）を準備しよう。

　使い勝手は互角。両者ともGPU内蔵の動画エンコーダ（QSV並みに高速）を使うため、フレームレートがごくわずかに低下する程度だ（せいぜい5％程度）。ただShadowPlayで録画した動画は可変フレームレート形式であるため、再編集時に固定フレームレート形式に変換する一手間が必要。一方、AGEには固定フレームレート形式で録画する設定が用意されており、AGEと連携している動画コミュニティサイトのPlays.tvには簡単なカット編集機能もある。ShadowPlayは手軽さ重視、AGEは取り回し重視のツールに仕上がっていると言えるだろう。

GFE「ShadowPlay」でお手軽配信

ShadowPlayの操作設定はGFEの「基本操作」タブの「ShadowPlay」で行なう。「Allow desktop capture」にチェックを入れておくと、通常のデスクトップ操作もShadowPlayで録画できるようになる

GFEで「ShadowPlay」ボタンを押してから、左端のスイッチをONにすれば、即座に録画モードに入る。画質の調整やさかのぼり録画時間、Twitch.tvへの配信もここから指示できる

録画後のファイル操作も簡単なAGE

AGEの場合、動画のローカルストレージへの記録と動画サイトへの配信は別のアイコンからスタートする

AGEと連携する動画サイト、Plays.tvは、カット編集機能も提供している

44.　イラスト、キャプチャ画面を美しく拡大して楽しむ　　　難易度★★★

　「waifu2x」とは、ディープラーニング（深層学習）を活用して画像の高解像度化およびノイズ除去を行なうオープンソースのプログラム。一般的なレタッチソフトで画像の拡大処理を行なう場合は、「バイキュービック法」などの補間手法を利用する。だが輪郭強調で階調が変化するだけでなく、JPEG圧縮ノイズもそのまま拡大されてしまう。しかしwaifu2xは「この画像は縮小（圧縮）後の画像である。もとの画像はどうだったか？」という発想で処理する。

「俺の嫁」の超解像処理が真骨頂！

オリジナル画像
元データは約300ドット四方に縮小された画像。口や文字周辺に微妙な圧縮ノイズがある
わがままDIY (C) ざら

waifu2x-caffeで拡大
waifu2x-caffe ver 1.1.1.2で「縦横4倍拡大＆ノイズ除去レベル2」を実行。キャラクターの周囲にある圧縮ノイズはほぼ消失。輪郭線のジャギー感が少ないが、髪の毛の輪郭線が若干にじんだような感じになるほか、塗りの境界線がブレンドされたことでやや濃厚な印象になる、などの違いが出る

バイキュービック法で拡大
Photoshop CC 2015のバイキュービック法で縦横4倍に拡大。髪の毛や吹き出しにジャギー感が出ているのと、輪郭線の周囲にシャープネスの影響による明るい領域が出てしまっている。圧縮ノイズもほぼそのまま拡大されて残る。今時のフルHD液晶で見るとアラばかり目についてしまう

　今回利用する「waifu2x-caffe」はCUDA対応のGPUを利用した高速処理（CPU処理も可）に対応させたもの。計算量がかなり多めのプログラムなので、高スペックのPC、とくにCUDAに対応したGPUの性能が活きてくる。下のグラフは、Haswell世代のCPUとGeForce系ビデオカードを使ったパフォーマンスの比較だが、Core i7-4790Kを持ってしても、GPUのパワーにはおよばなかった。ローエンドのGeForce GT 730でさえ4790Kの3倍近いパフォーマンスが得られ、CUDAコア数の多いGPUほど高速だ。waifu2x-caffeで大量の画像を拡大したい、別途プラグインなどで動画にも適用したいなどという場合は、迷わず上位GPU搭載ビデオカードを導入すべきだ。CPUよりもGPUのほうが投入するハードウェアリソース（予算）に対する高いリターン（速度）が期待できる。

【waifu2x-caffe】

waifu2x（オリジナルのWebサービス）／開発元：ultraist ／ URL：http://waifu2x.udp.jp/
waifu2x-caffe（waifu2xのWindows移植版）／開発元：lltcggie ／ URL：https://github.com/lltcggie/waifu2x-caffe

1.JPEGノイズ除去レベル　JPEGの圧縮ノイズをどの程度強力に除去するかを指定する。1より2のほうが強力だが、かけ過ぎると画像が荒れることも考えられるので、試行錯誤で最適解を探そう
2.変換モード　画像処理内容を指定する。ノイズ除去のみ／拡大のみ／ノイズ除去＋拡大の3種類が基本。一番下の項目は入力画像がJPEG形式のときのみノイズ除去処理を行ないたいときに使う
3.拡大率　拡大処理時の倍率を指定する。倍率を2倍、4倍……にすればドット数は4倍、16倍……と指数関数的に計算量も増えるので上げ過ぎには注意
4.モデル　どの学習成果（モデル）を使って処理するかを決定する。アニメ風絵なら「2次元イラスト（RGBモデル）」、実写系なら「写真・アニメ（Photoモデル）」がよい

waifu2x-caffe ver. 1.0.6.1 ノイズ除去（level2）＆2倍拡大

[Text by 加藤勝明]