おはようございます、始めましての人は始めまして。瓦です。

最近見つけた Artistic Radiance Fields という論文 (https://arxiv.org/abs/2206.06360) がちょっと面白そうだったので、動かしてみただけの記事です。

ざっくりと概要を書くと、写真から 3D 復元したオブジェクトに対して与えられた画像のスタイルを適用させる手法を提案しています。結果が載っている著者らのページ (https://www.cs.cornell.edu/projects/arf/) では様々な画像のスタイルを適用させた結果が載っているのですが、元画像の特徴がかなり綺麗に反映されていることが分かります。

実際に使用してみる

実行はかなり簡単で、github からリポジトリを取ってきて README.md の通りに動かすだけです。まずはデータセットに入っている llff/horns に対して styles/14.jpg のスタイルを適用させてみました。有名なゴッホの星月夜です。try_llff.sh horns 14 を叩いて数分待つと mp4 ファイルが生成されます。

元の動画

スタイルを適用させたい画像

スタイルを適用させた結果

どうでしょう、かなりいい感じにスタイルの適用が出来ています。著者らのページに載っている先行研究と比較すると、先行研究ではスタイルを適用するとかなり境界がぼやけてしまう部分が見られるのですが、提案手法によるスタイル適用ではぼやけている部分がほとんどなく、綺麗にスタイルが適用されていることが分かります。

次に自分で用意した画像を適用させてみます。

まずは Fusic のロゴで試してみます。

スタイルを適用させたい画像

スタイルを適用させた結果

歌舞伎みたいになりましたが、Fusic のロゴの赤い線の部分を反映できています。また、Fusic Co., Ltd. の文字の部分も反映されていますね。

次に、自分の写真で試してみます（この先ホラー注意です）

スタイルを適用させたい画像

スタイルを適用させた結果

高熱の時にみる悪夢みたいな動画が出来ました。ただ、よく見ると人の特徴であるような目や口がかなり綺麗に反映されていることが分かります。

今回はただただコードを引っ張ってきて動かしてみただけでしたが、これから論文を読んで、技術的な部分について理解を深めていきたいと思います。