Facemotion3dへのアップグレード

iFacialMocapは私の個人的なプロジェクトでしたが、パートナーから誘われてFacemotion3dという新しいアプリの開発を開始しました。

Facemotion3dがリリースされることによってiFacialMocapが廃止になることはありませんが、今後いくつかの機能面で差別化がされます。 iFacialMocapにこれまであった機能を廃止することはありません。

Facemotion 3dの情報は、以下のWEBページから確認できます。

https://www.facemotion3d.net/%E6%97%A5%E6%9C%AC%E8%AA%9E/

【iFacialMocapとFacemotion3dの比較】

1.インターフェースとデザインの改善

iFacialMocapによって表示されるアバターはシンプルでしたが、Facemotion3dではいくつかのアバターが追加され、リッチなグラフィックを楽しむことができます。

ボタンのデザインも改善され、ボタンを押したときのアニメーションなどが追加されました。

2. DAZStudioとの通信

Facemotion3dはDAZStudioとリアルタイムで通信できます。

3.Mayaとのダイレクト通信

iFacialMocapは、PC上のソフトウェアを介してMayaと通信することができます。

しかし、Facemotion3dでは、PCのミドルソフトウェアを使用することなくMayaとダイレクト通信ができます。

また、ストリーミングを介して記録されたアニメーションをベイク処理する速度も向上しています。

アニメーションをベイク処理するときに、ストリーミング経由でオーディオをタイムラインにインポートすることもできます。

BlendShape名をカンマで区切ることで、複数のblendShapeを動かすこともできます。

4.Blenderとのダイレクト通信

iFacialMocapは、PC上のソフトウェアを介してBlenderと通信することができました。

しかし、Facemotion3dでは、PCのミドルソフトウェアを使用することなくBlenderとダイレクト通信ができます。

また、ストリーミングを介して記録されたアニメーションをベイク処理する速度も向上しています。

アニメーションをベイク処理するときに、ストリーミング経由でオーディオをタイムラインにインポートすることもできます。

5.Unityとのダイレクト通信

iFacialMocapは、PC上のソフトウェアを介してUnityと通信することができました。

しかし、Facemotion3dでは、PCのミドルソフトウェアを使用することなくUnityとダイレクト通信ができます。

さらに、Facemotion3dを使用すると、Unity内にオブジェクト名を埋め込むことができるため、ゲームを簡単に作成できます。

Facemotion3dでは、ゲームの開始時にアプリに自動的に接続するオプションが追加されました。

また、UDPだけでなくTCP / IPを介して通信する方法が追加されました。

6. VRMインポート機能

Facemotion3dでは、VRMモデルをiOSアプリ内に2体以上インポートして登録できます。

また、ライトやカメラなどの設定を細かく調節できます。

7. BlendShapeのキャリブレーション

Facemotion3dは、BlendShapeのキャリブレーションが出来ます。

アバターの目が大きく開かない、口がぴったり閉まらないなどの問題に対応できます。

8. 音声認識でBlendShapeを反応させる機能

アプリに登録した言葉を話すと、その言葉に対応するBlendShapeを動かすことができます。

例えば、「こんにちは」と言った時に、「hello」のBlendShapeを動かすことができます。

9.  SCNファイルのインポート

.scn形式の拡張子のカスタムアバターをアプリ内にインポートできます。

.scnファイルの作成方法と使用方法については以下の記事で紹介しています。

https://note.com/pekochun/n/n69d6b093b1c7

10. アプリ内で複数の録画データを扱う

iFacialMocapでは、アプリ内で1つの録画データのみしか扱えませんでした。

Facemotion3dでは、複数の録画データをアプリ内で扱えます。

使用方法は以下の記事で紹介しています。

https://note.com/pekochun/n/ne89b6f5661f2

11. アニメーション録画時に画面録画する機能

アニメーション記録と同時に顔のリファレンスデータとして画面を録画したいという要望があったため、Facemotion3dには画面録画するためのオプションがあります。

12. 要望への対応

追加機能の要望などがあった場合、iFacialMocapよりFacemotion3dを優先して実装されます。

13. 自動スクロールするテキストの表示

フェイストラッキング中に、自動スクロールするテキストを表示できます。歌詞などを見ながら歌う場合などに役に立ちます。

Facemotion3dには、iFacialMocapにはない他の多くの機能があります。

Facemotion3dは無料でダウンロードできます。 ぜひお試しください。

FACEMOTION3Dのリリース経緯について

https://note.com/pekochun/n/n47ab544bf932