Fusic Tech Blog

Fusicエンジニアによる技術ブログ

#machine-learning

2022/06/13
ViTGANはVision Transformer(ViT)とSIREN組み合わせ。現実的な画像の新たな生成の仕方。

ここでは、Kwonjoon Leeらによる最近の研究([ViTGAN: Training GANs with Vision Transformers](https://arxiv.org/pdf/2107.04589v1.pdf))をご紹介します。 | CIFAR-10 | CelebA | LSUN bedroom | |--|--|--| | ![CIFAR-10の結果](h...

ViTGANはVision Transformer(ViT)とSIREN組み合わせ。現実的な画像の新たな生成の仕方。
2021/09/28
Implementing ViTGAN (A novel realistic image generation model) in PyTorch

[ViTGAN](https://arxiv.org/pdf/2107.04589v1.pdf) is a Generative Adversarial Network, which implements a mixture of a Vision Transformer and a SIREN for a generator. The discriminator is also a ...

Implementing ViTGAN (A novel realistic image generation model) in PyTorch
2021/09/28
Tips and Tricks for training GANs

Training GANs can be very difficult and confusing at times. In this post, I introduce some techniques for training more stable GANs. Note that this is based on my personal experience and the result...

Tips and Tricks for training GANs
2021/08/24
Merging Vision Transformers (ViT) with SIRENs to form a ViTGAN. A novel approach to generate realistic images.

I would like to introduce a recent work by Kwonjoon Lee, et. al. [ViTGAN: Training GANs with Vision Transformers](https://arxiv.org/pdf/2107.04589v1.pdf). | CIFAR-10 | CelebA | LSUN bedroom | ...

Merging Vision Transformers (ViT) with SIRENs to form a ViTGAN. A novel approach to generate realistic images.
2021/08/03
Sinusoidal Representation Networks (SIREN)

My name is Teodor Toshkov and I am an intern at Fusic, Fukuoka. I am going to introduce a paper, published on 17 June 2020 by Vincent Sitzmann et. al., named [**Implicit Neural Representations with Pe...

Sinusoidal Representation Networks (SIREN)
2021/03/30
wav2vec 2.0を日本語で推論できるようにする

こんにちは、インターンの青木です。この記事では、2020/6/20にFacebook AIより提案された[wav2vec 2.0](https://arxiv.org/abs/2006.11477)を日本語データセット で学習させ、推論までを行いたいと思います。 [git リポジトリ](https://github.com/pytorch/fairseq/tree/master/examples/...

wav2vec 2.0を日本語で推論できるようにする
2021/03/30
Simple Transformersを使ってみた

こんにちは。機械学習チームの佐藤です。テキスト要約のタスクのモデルでMultilingual-T5がありますが、オリジナルリポジトリのTensorFlow版Multilingual-T5だと少々使いづらく感じたので(特にpredictの際に)、今回Simple Transformersを使ってみました。 また今回、Kaggleにて[Simple Transformers T5を使ったノート...

Simple Transformersを使ってみた
2021/03/25
Involution: Inverting the Inherence of Convolution for Visual RecognitionをEfficientNetで試してみた

こんにちは、鷲崎です。最近、畳み込みニューラルネットワーク(CNN)を用いて画像分類や物体検出などの視覚タスクに用いるハードルが低くなり大衆化してきました。一方で、視覚タスクにおける研究の流行は、CNN構造からAttention機構を用いた新しいアーキテクチャの発見などに移り変わってきている気がしています。 本記事で紹介する、[Involution: Inverting the Inherenc...

 Involution: Inverting the Inherence of Convolution for Visual RecognitionをEfficientNetで試してみた
2021/03/24
【論文読み】SQL Injectionと機械学習を用いた検知、防御手法

論文リンク # はじめに 「機械学習✖️セキュリティ」の分野に興味があったけどあまり追えていなかったのでサーベイ論文読んでみました...

【論文読み】SQL Injectionと機械学習を用いた検知、防御手法
2020/06/01
フルリモートで輪読会を行った話

コロナ禍において弊社も4/6より原則テレワークとなりました。 そんな状況下でリモート輪読会を行ったので、その感想を共有させていただこうと思います。 ※本記事では「リモートでも輪読会できた!」という体験を共有するために執筆しています。そのため、書籍の中身への言及はありません(コード・数式出てきません)。 ## 結論 特段問題なく、リモートで輪読会を行えた。 ## 対象書籍 [ガウス過程と機械...

フルリモートで輪読会を行った話
2020/01/20
Deep Learningで背景削除をしてみる

こんにちは、Fusicでインターンをしている岩永です。 少し前に話題になった[remove.bg](https://www.remove.bg/)という背景を削除してくれるサービスを最近使ってみました。その精度の高さに驚き、興味を持ったため自分でも試してみました。 ## 背景削除とは 背景削除とはその名の通り、画像から対象物を検出し背景を削除するタスクです。 背景削除の有名なサービスとして...

Deep Learningで背景削除をしてみる
2019/12/25
Kaggleコンペで惨敗したけど、最高に楽しかった話

この記事は、[kaggle その2 Advent Calendar 2019](https://qiita.com/advent-calendar/2019/kaggle-part2) 25日目の記事です。🎂メリークリスマス!!🎂 今回は12/20(金)に終了した[ASHRAEコンペ](https://www.kaggle.com/c/ashrae-energy-prediction/ove...

Kaggleコンペで惨敗したけど、最高に楽しかった話
2019/12/13
AWS re:Invent2019のAI関連アップデートまとめ

こちらは [Fusic Advent Calendar 2019](https://qiita.com/advent-calendar/2019/fusic) 13日目の記事です。 昨日は[@kaihiro](https://qiita.com/kaihiro)による「[Yattecast+S3でクローズドなポッドキャスト配信サイトをサクッと構築+配信する](https://qiita.com/...

AWS re:Invent2019のAI関連アップデートまとめ
2019/12/01
AWS re:Invent2019に向けたAI関連アップデートまとめ

昨年、[AWS re:Invent 2018辺りのAI関連アップデートまとめ](https://tech.fusic.co.jp/posts/aws-reinvent-ai-summary/)という私得な記事を書いたのですが、今年も書きます。 今年はre:Invent前の発表がすごく多いので、re:Invent前・後それぞれで記事にする予定です。今回は、`re:Invent前`のまとめです。 ...

AWS re:Invent2019に向けたAI関連アップデートまとめ
2019/08/23
変分推論によるベイズロジスティック回帰をPythonで実装する

こんにちは、嶋生です。 社内で[ベイズ推論による機械学習入門](https://www.kspub.co.jp/book/detail/1538320.html)の輪読会をしておりまして、半月強掛けて無事最後まで終えることが出来ました。(↓の本です。) ![ベイズ推論による機械学習入門](/uploads/9784061538320_obi_w.jpg "ベイズ推論による機械学習入門") ...

変分推論によるベイズロジスティック回帰をPythonで実装する
2019/07/20
torchvisionを使って人のキーポイント検出をする

[前回](https://tech.fusic.co.jp/posts/2019-06-28-chainercv-se-resnext-example)はchainercvが便利という話だったのですが、今回はtorchvisionのTipsです。 人物のキーポイント検出はOpenPose・PoseNetなどが有名ですが、Keypoint R-CNN([Mask R-CNN](https://ar...

torchvisionを使って人のキーポイント検出をする
2019/06/28
SE-ResNeXtが簡単に使えるよ、そうChainerCVならね

こんにちは、嶋生です。 ブログのリニューアルに伴い投稿が滞っていたのですが、無事完了しましたので早速投稿します。 今回は、[ChainerCV](https://chainercv.readthedocs.io/en/stable/index.html)の小ネタになります。 ChainerCVを使うとSE-ResNeXtなどの自分で作ると複雑なモデルも簡単に使えるので便利だよ、という話です。...

SE-ResNeXtが簡単に使えるよ、そうChainerCVならね
2018/11/07
Google ColaboratoryのTPUでFashion-MNISTをやってみた

こんにちわ、Fusicの嶋生(しまお)と申します。 普段はPythonで機械学習系のお仕事をしたり、AWSでシステム構築したりしています。(PHPも少し書いてます) 今後、機械学習系・AWS系の情報発信をしていきたいと思っております。 今回は表題の件を実験してみた話です。 ## やったこと - Google Colaboratory(以下、Colab)でTPUを使って、Fashio...

Google ColaboratoryのTPUでFashion-MNISTをやってみた