1
拡散モデルによるinpaintingでラーメン二郎の写真からレンゲだけをキレイに消していく過程の動画です。
2
3
拡散モデルによるinpaintingも試してみましたが、かなり自然に消えてびっくりしました。
画像は、実画像に写っているレンゲ部分をマスクして、マスク部分は完全なノイズから画像を生成し、マスク以外の部分は各timestepごとにノイズを付加した実画像で置き換えながら生成処理を実施しています。
4
ラーメン二郎画像で拡散モデル(DDPM)の学習を試してみました。
拡散モデルは完全なノイズから少しずつノイズ除去を繰り返しながら実データに近づけていく仕組みです。
動画はノイズ除去を1000回繰り返して128x128pxのラーメン二郎画像を生成する過程です。9秒あたりから薄っすら輪郭が見えてきます。
5
6
7
拡散モデルでノイズ付きの実画像をノイズ除去してみると、かなりノイズが多くても復元できます(1000回で完全なノイズ)。
画像は新宿小滝橋通り店と新宿歌舞伎町店の実画像にノイズ付加してから復元したものです。t=500あたりから画像が乱れ始め、t=900を過ぎたあたりから別の画像になり始めます。
9
小滝橋通り店の画像にしか見えないが川越店と誤認識されるよう細工した画像をDDPMで復元するとAdversarialなノイズを除去できました。
画像はPGD Attackで生成したもので、リサイズや軽いブラーでは回復できませんが、DDPMによる復元ではt=2で正解し、t=100でほぼ元の精度(むしろ良い)に回復しました。 twitter.com/jirou_deep/sta…
10
ラーメン二郎識別bot(@jirou_deep)のモデルを更新し正解率が99.06%に向上しました。なんとなく目標にしていた、単体モデルTTA無し(single crop)での正解率99%超えを達成しました。
前回モデルからの変更点は学習データの追加(全部で約9万枚)のみです。 #ラーメン二郎 #DeepLearning twitter.com/jirou_deep/sta…
11
DeepLearningを用いたラーメン二郎全店舗識別の資料はこちらです slideshare.net/knjcode/large-… #NTTtech #NTTtech301 #DeepLearning
12
ラーメン二郎識別bot(@jirou_deep)のモデルを更新し正解率が99.36%に向上しました。
モデルはEfficientNet-B4で、CutmixとRICAPを組み合わせた独自データ拡張を利用して学習しています。
以前のモデルは SE-ResNeXt-50 + RandomErasing で99.15%の正解率でした。 twitter.com/jirou_deep/sta…
Engineer, Kaggle Competitions Grandmaster