Closed 2ji3150 closed 5 years ago
May be we can use it by converting original model to caffe model and replacing existing files?
I've confirmed that it works fine with my personally modified waifu2x-caffe. However, Caffe bundled with the original waifu2x-caffe(this repo) is probably very slow because https://github.com/BVLC/caffe/pull/5548 (Changes to speedup CropLayer) have not been merged.
個人的に改変しているwaifu2x-caffeで動作することを確認していますが、オリジナルのwaifu2x-caffeにバンドルされているCaffeは https://github.com/BVLC/caffe/pull/5548 (CropLayerを高速化する変更) がマージされていないため、おそらくかなり遅いです。
拡大付きのモデルはupcunet.prototxtの構造で、拡大なしのノイズ除去モデルはcunet.prototxtの構造になっています。このprototxtは、make_cunet.pyで生成しています。
@nagadomi can you share it with us?
@Yolkis No, it contains some closed codes. :cry:
追加しました。 現在バンドルしているCaffeは最新のmasterをマージしているので BVLC/caffe#5548 もマージされているので速度の問題はないと思われます。
いつもありがとうございます。 軽くベンチしてみましたが、cunetはwaifu2x-caffeではuprestより若干遅いって感じです。 rgb 処理時間: 00:00:04.635 uprgb 処理時間: 00:00:02.095 cunet 処理時間: 00:00:09.802 uprestnet 処理時間: 00:00:08.968
@2ji3150 出力から削られるサイズが大きいので分割サイズを大きくしないと遅いかもしれないです。 upresnetと同様に分割サイズによって出力が微妙に変わります。 また分割サイズは4の倍数になっていないとエラーになると思います。
@nagadomi コメントありがとうございます。 もう一度より多くの画像でベンチしました。
テスト画像解像度2560*1290 4枚 format:jpg 分割サイズ: 256 分割サイズとバッチサイズをいじってみましたがやはり大体似たような結果です。 また、それ以上大きくすると落ちます。
環境: Windows 10 1809 + GTX1060 6GB + Cudnn 7.4.1 for CUDA 10
Model | Process Time | 分割サイズ | バッチサイズ |
---|---|---|---|
RGB | 18.315 s | 256 | 1 |
UpRGB | 9.574 s | 256 | 1 |
UpResnet10 | 12.148 s | 256 | 1 |
CuNET | 27.626 s | 256 | 1 |
Torchだと画像変換レベルではvgg_7(RGB)とあまり変わらないですが Crop,Flatten,Eltwiseあたりの実装が違う部分の差があるのかもしれないです。 構造的には確かに遅そうで、そのベンチマークのほうが納得感はあります。 TorchのCUDAやcuDNNまわりはNVIDIAの人が書いてたのでブロックを連続的に変換するところで計算以外のメモリの非同期転送などで謎の速さがあるのかもしれないです。
本家の新しいモデルがリリースされました。 https://github.com/nagadomi/waifu2x/releases/tag/v0.13.2 waifu-caffeの更新をお願い致します。