Fusic 開発合宿日記 社内スカウターをHololens 2で作ってみた

作りたかったもの

ドラゴンボールであるようなスカウターが作るのが今回の目標です。

技術的構成としてはこんな感じです

• 任意のタイミングで撮影を行いサーバに画像をpost
• サーバ側で写っている人物を特定する（機械学習）
• 特定した人物に関する情報をHololensに返す

http通信が行えるので、ここまで具体化してしまえばそこまで不思議なものではなくなってきましたね。

サーバ側は顔認識を行う機械学習モデルの推論するAPIを作れば良くて、Hololensはちょっとレアなタイプのフロントエンドとも考えられます。

サーバ側

顔認証にはfacenetというモデルを利用してみました

以前も僕はこのモデルを使って遊んでみたことがありますがその時はローカルで一発動かす用のお遊びでしたが、今回はAPI化するところまでやりました。

AIに顔認識させて似ている顔を探してみる

AIを使って似ている顔を探す

tech.fusic.co.jp

認識した人物に関する情報は会社のメンバーページのデータを使いました

メンバー紹介 | 株式会社Fusic（フュージック）｜ 福岡よりシステム開発によるソリューションを

Fusicのメンバーをご紹介いたします。高い技術力と問題解決力に加えて、個性豊かなメンバーたちが当社の強みです。

fusic.co.jp

facenetの学習ではtriplet lossを利用していて同じ人物の顔であれば近いベクトルに、違う人物の顔なら遠いベクトルになるように学習を進めるので非常に汎用性の高いモデルとなっています。

facenetの論文 fig.3を引用 : https://arxiv.org/pdf/1503.03832.pdf

Hololens側

苑田くんが頑張ってくれました

実際に動作している様子はこちらの動画をご覧ください

まとめ

実際動くものができて、動かしてみたときにはテンションが上がりました

ヘッドセットつけて、こういう感じにフォォンって出てくる系のUIってなんか近未来的な感じがしてテンション上がりますよねw

刺激的な開発合宿でした！