Fusic Tech Blog
Fusion of Society, IT and Culture
# 機械学習
【論文解説】Self-Attention Between Datapoints - ノンパラメトリック深層モデル Non-Parametric Transformers の解説
こんにちは、鷲崎です。先日(21年6月６日)、「○○ is Not All You Need」系の論文の系譜であるTabular Data: Deep Learning is Not All You Nee...
【論文読み】SegFormer: Simple and Efficient Design for SemanticSegmentation with Transformers の解説
こんにちは、鷲崎です。 最近、画像処理においてもTransformerが使われてきています。実際のところ分かりませんが、私としては、畳み込み演算はローカルな情報、Transformerは大域的な情報を得意にしているのかなというくらいの認識です。もう少し、Transformerについて知りたいと思い調査していたところ、セマンティックセグメンテーションで軽量で性能も良い...
動画にない視点の画像を作成してみた! NeRFを時間方向に拡張したNSFF : Nural Scene Flow Fieldの解説
こんにちは、鷲崎です。2020年、新しい3次元空間の表現手法として、Neural Radiance Fields(NeRF)が登場しました。この手法は、下図のように複数の画像からNeRFを学習するこ...
【論文読み】Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences
こんにちは、石橋です。 Facebookから面白い論文が出てきました。 以前、僕はalphafoldに関する記事を書きましたが、 最近は機械学習が生物学へのドメインに転用されて大きな精度向上をもたらしています。 ...
オンライン複数物体追跡 SiamMOT: Siamese Multi Object Trackingの解説
こんにちは、鷲崎です。弊社では、スポーツxAIという分野に取り組んでおり、画像分類や物体検出など多くの画像処理タスクを活用しています。今回は、選手の追跡タスクのため複数物体追跡(MOT; Multi Object Tracking)の最新手法に関して、弊社インターンの青木と共に調査しました。 本記事で解説する...
StyleGAN2で、笑顔・無表情画像の生成を行いました！
こんにちは、Fusicのインターンシップに参加したHUANG BOYUと申します。今回インターンシップで、生成モデルStyleGan2-ADAを用いて、下図のような顔画像から笑顔、無表情の画像を生成するタスクを行いました。本記事では、この手法の解説を行います。 ...
機械学習の画像系タスクでデータ入出力を整理して確認してみる
こんにちは https://fusic.co.jp/doings/312 以前に弊社広報でこんな記事を出しました 今回の記事ではより実装側によったことを書いてみ...
Google colabでBERTを使ってライブドアニュースコーパスを多クラス分類をする
こんにちは、今回はライブドアニュースコーパスをBERTを使って多クラス分類する実装をしてみます。 よくよくやられていることなので、ネット上にたくさん似た事例がありますね。 今回は、比較的再利用しやすいような実装を心がけています。 ...
wav2vec 2.0を日本語で推論できるようにする
こんにちは、インターンの青木です。この記事では、2020/6/20にFacebook AIより提案されたwav2vec 2.0を日本語データセット で学習させ、推論までを行いたいと思います。 ...
Simple Transformersを使ってみた
こんにちは。機械学習チームの佐藤です。テキスト要約のタスクのモデルでMultilingual-T5がありますが、オリジナルリポジトリのTensorFlow版Multilingual-T5だと少々使いづらく感じたので（特にpredictの際に）、今回Simple Transformersを使ってみました。 また今回、Kaggleにて...
Involution: Inverting the Inherence of Convolution for Visual RecognitionをEfficientNetで試してみた
こんにちは、鷲崎です。最近、畳み込みニューラルネットワーク(CNN)を用いて画像分類や物体検出などの視覚タスクに用いるハードルが低くなり大衆化してきました。一方で、視覚タスクにおける研究の流行は、CNN構造からAttention機構を用いた新しいアーキテクチャの発見などに移り変わってきている気がしています。 本記事で紹介する、...
【論文読み】SQL Injectionと機械学習を用いた検知、防御手法
論文リンク ...
Most-Popular推薦を実装して理解する
...
Attenton is All You Need in Speech Separation. 音源分離にもAttentionの時代が到来！
こんにちは、鷲崎です。最近、機械学習界隈で、Attentionが驚くべき成果を上げています。例えば、OpenAIの...
【論文読み】 Nomalizer-Free ResNets (NFNet) with AGC - EfficientNetの画像認識精度を超えた最新のモデル
こんにちは、鷲崎です。ここ数年、画像認識の分野では、パラメータ数が少なく性能も良いEfficientNetが良く用いられ、弊社の機械学習チームでも利用しています。2020年の後半には、...
【論文読み】AlphaFold
はじめに 前回、...
AlphaFoldを理解したいけど生物学系の知識がないので勉強してみた 前編：事前知識、背景理解
（2021/01/18）アップデート\ 獣医学を専攻している友人からコメントをいただいたので適宜修正を入れました（ありがとう！！！） 2020年冬の頃、獣医学部で獣医学を専攻している、高校時代の友人から連絡があった。 「AlphaFold2っていう機械学習モデル...
【論文読み】Exploring Simple Siamese Representation Learning
こんにちは、鷲﨑です。弊社の機械学習チーム勉強会で、Exploring Simple Siamese Representation Learning という画像の表現学習に関する論文を読みました。自...
【論文読み】A Survey on Deep Learning for Localization and Mapping - 自律ロボット × Deep Learning の研究動向
本記事は、Fusic Advent Calendar 2020の11日目の記事です。 昨日は、...
オンライン対戦データを解析して、アイテム判定をする
こんにちは。Fusicの塚本です。 趣味で、ゲームを嗜んでる人、多いかと思います。 そんな中、僕は趣味としてポケモンをプレイしています。 今回は、個人的に集めたオンライン対戦のデータを使って、そのポケモンの持ち物判定を行うというものです。 持ち物とは、対戦で１匹1つだけ持たせることのできるアイテムのことを指します。 ...
[論文読み] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Weekly Machine Learning #169 で紹介されていた...