前回、3tene（ミテネ）のFREE版を使ええばVRoidのデータでコントロール出来ると分かり、急遽Webカメラを購入。
コロナ渦のテレワークでWEBカメラとZOOMを使っている人は多いと思いますが、ワタクシの現在の仕事ではネットミーティングからは縁遠く、こうした環境準備をしていなかった。なのでPCにカメラを付けるとか全く機会がありませんでした。
アマゾンで「WEBカメラ」で検索、一番最初に出てくる3,000円しないリーズナブルなカメラです。
PCへの接続。セットアップは無いような物で、直ぐに認識しました。
3teneFREE
早速WEBカメラでのトラッキングをやってみました。
あっけないほど簡単にリッピシンクが出来ましたが、顔認証モードだと口をかなり大きく、オーヴァーアクション気味にしないとリアクションが薄い感じです。
（設定でなんとかなりそう）
ZOOM+3teneFREE
3teneはZOOMとの連携機能があるようなので、ZOOMをやってみました。
これも嬉しいくらい難しい設定もせずに自撮りを差し替えられました。
ただ音声は自分の声。今では女性アバターに自分の男声をそのまま当てる人も増えてきたようなので、それほど気にされる事も無いかもしれませんが、まだ自分がやる限りでは抵抗があるので、音声はカットして動画の記録等をしてました。
3tene PRO V2の機能メモ
この辺りまで動作確認をすると、有償版の3teneも気になってきたので、機能を確認。
詳細は公式サイト参照。記事内容は自分的なメモ
高精細フェーストラッキング
iPhoneX、iPhone11 の昨日を使って、表情のトラッキング機能が向上するらしい。スマホと連携させる発想は無かったので、面白い。
ちなみに2021年2月現在、自分はPhone7なので、これはそのうち。
LeapMotion
LeapMotionという、手や指に特化したセンサーがあるらしい。調べてみると１万円～1万5千円くらい。
デモ映像を見ると、かなり良い感じで手の動きをキャプチャーしている。この価格でこれが出来る？かなり興味あります。
Azure Kinect対応
深度カメラを仕様して、全身のモーションキャプチャーが出来るらしい（？）
このカメラが対応しているらしい（？）
今のところ、全身のモーションキャプチャーはそれ程の感心は無いので、後で調べる。
VR器機
VRゴーグルに対応しているとの事なので、自分が持っているOculus Quest2で動作確認をしてみる。
Live2Dに対応
今のトコロ導入予定は無いので、後で。
3tenePRO+LIVE2D導入
FREE版でもかなりの事が出来るようでしたが、有償版も2,750円（税込）とリーズナブルなので、購入みました。（クレジットカード払い）
3tenePROではアバターを２体配置できるようです。
3tenePRO+LIVE2DのVRモード
比較的マシな動画をアップしましたが、何処か軸がズレているようで、思うように動かすのは難しかったです。
待機動作にチェックが入っているとVRモードと競合してしまうようで、VRが認識しなかった。
設定もVRゴーグルを装着したまま、VR内のヴァーチャル・ディスクトップで出来るといえば出来るが、若干不安がある。
基本的にメーカーが動作確認しているはOculus Riftとの事。
これも後で時間を掛けて設定をしてみます。
音声でのリップシンク
リップシンクは、顔認証と音声（録音）からセレクト。
恐らく、顔認証はカメラで口のカタチをキャプチャー。音声（録音）は、カメラのマイクで拾った音声から口のカタチを決定していると思われます。
ウチの環境では、音声（録音）の方が良い動きをしておりました。
動きはオーバーアクション気味の方が分かりやすいように思えてたので、口の感度設定は、縦と横ともにMAX設定が良いかと思いました。
もしかしたら、アバターのキャラクター性によって変更しても良いのかもしれない。
ボイスチェンジャーのテスト
先にも言いましたが、アバター界隈では女性型のアバターでも男の人が構わず地声で喋る文化が進みつつあります。（笑）
自分はまだその辺りは抵抗があるので、ボイスチェンジャーを導入。
フリーソフトの恋声を使ってみました。
最初、ディレイ（山彦効果）が入ってしまい、そのディレイが更に高いピッチの声になってしまった。
変だと思ったが、原因はとても分かりやすい配置ミスで、喋った声が出るスピーカーの音を更にマイクで拾っていた。なので更にピッチが上がり、高い声になっていたという事。
自分の声をモニターしないでも方法もあるが、Web会議等でこれを使う場合は他の人の声まで拾ってしまうので、音声モニターはイヤフォン等を使った方が良い。っという事なんですね。
ZOOM等のWeb会議関係はやった事が無かったので、気付かなかったが、勉強になったですわ。
ここまでの使った予算
- VRoid Studio 無料
- Blender （3Dモデリング、ビデオ編集）無料
- Webカメラ 3,000円以下
- 3tenePRO+LIVE2D 2,750円 （税込）
予算をもっと掛けてスタジオ並に機材を揃えれば、出来るのは当たり前です。
自分的には一般ユーザーが低予算で気出るお手軽さに魅力を感じているので、暫くこの辺りの予算で出来る事にコダワッてみたいです。