今回のYuna Orbitは、一枚のイラストを出発点に、キャラクターをどこまで自然に動かせるのかという制作実験です。
目標は、画像を上下に揺らすだけのアニメーションではありません。顔を左右・上下に向け、喜怒哀楽を表現し、セリフに合わせて口や頭を動かす。AIの助けを借りながら、その仕組み自体を個人で作ってみました。
完成したというより、まだ開発途中。だからこそ、今できていることも、ぎこちないところも、そのまま紹介します。
まずは動くゆなを体験してみよう! 🎮
今回の自作デモを下に配置しました。再生すると、ElevenLabs V4で生成したサンプルボイス(約27秒)に合わせて、ゆなが表情や顔の角度を変えます。音声はボタンを押したときだけ鳴ります。
音声を止めた状態で、ゆなをマウスや指でドラッグしてみてください。 動画ではなく、角度を直接操作できるWebGL2のモデルです。指を離すと正面に戻ります。
操作は「▶ 再生」と「■ 停止」の2つだけ。再生中は自動の演技が優先されるので、ドラッグで向きを変えられるのは停止中だけです。デモの読み込みは約9MBあるので、モバイル通信のときは少し時間がかかるかもしれません。開発途中の実験デモとして楽しんでください。
本家Live2Dとは何が違うの?
Live2D Cubismは、2Dイラストのパーツやデフォーマを使って変形・アニメーションを作る専用ツールです。VTuberのアバターなどでもおなじみですね。
今回の仕組みは、Live2D Cubismで作ったモデルではありません。JavaScriptとWebGL2を使った、独自の「Live2D風」2Dリグです。
出発点は一枚のゆなのイラスト。ただし、それを読み込むだけで自動的に完成するわけではなく、制作過程では表情の差分素材や変形用の情報も用意しています。頭の向きに応じて画像を変形させ、目や口の表情を組み合わせ、髪が少し遅れてついてくるように調整しました。
顔の角度も、表情の強さも数値で指定できる
このデモでは顔の左右をYaw(ヨー)、上下をPitch(ピッチ)で指定しています。仕組みとしては左右±15°、上下±7°まで扱えますが、セリフに合わせた演技では顔の崩れを抑えるため、左右・上下とも±3°前後の控えめな動きにしています。停止中のドラッグでは、もっと大きく顔を向けられます。
表情は通常・喜・怒・哀・楽の5種類。さらに「喜び70%」「怒り75%」のように強さも指定できます。表情が一瞬で切り替わるのではなく、時間をかけて滑らかにつながる点も工夫したところです。
下の図は、デモを止めて撮ったものです。上の段がセリフに合わせた5種類の表情、下の段が顔の向きを角度で指定した状態です。
今はまだ表情や変形の限界があります。数値を大きくすれば必ず自然になるわけではなく、むしろ控えめな動きの方がきれいに見える場合もあります。
セリフと表情を連動させて「演技」をつける
今回の見どころは、音声の再生位置に合わせて口パク・表情・頭の動きを別々に制御し、ひとつの演技としてまとめていることです。
例えば今回のサンプルでは、明るいあいさつから始まり、途中でちょっと悔しそうに下を向き、スタークに怒ってから、最後は笑顔に戻ります。
| セリフの場面 |
モデルの演技 |
| 「こんにちは! ゆなですっ♪」 |
喜70%+軽いお辞儀 |
| 「ねえ、知ってた?」 |
楽45%+少し横向き |
| 「ふふっ、笑ったりも」 |
喜85%+顔を上げる |
| 「ちょっと悔しいな」 |
哀60%+うつむき |
| 「もーっ! スタークくんっ!」 |
怒75%+軽く首振り |
| 「なーんてね♪」 |
楽70%へ切り替え |
| 「楽しみにしててねっ!」 |
喜85%+うなずき |
これらの表情と動きは、セリフの時間に合わせてあらかじめ設定したものです。セリフの区切りは、音声の強弱とMacの音声認識で時刻を調べて決めました。現時点では、AIが喋りながらリアルタイムで感情を判断しているわけではありません。
それでも、口パク・表情・頭の動きはすべて音声の再生位置から決めているので、止めたり最初から再生し直したりしても、音声と動きがずれていかない設計になっています。
🎙️ ちなみに、ゆなの声はElevenLabs V4!
デモで使っているサンプルボイスは、AI音声合成サービスElevenLabs V4(Eleven v4)で生成しました。オーディオタグを使って「元気に」「悲しそうに」「ちょっと怒って」と話し方を演出し、その声に合わせてモデル側の表情と仕草を設定しています。
以前、ElevenLabs V4とGemini TTSを実際に聞き比べた記事も公開しました。音声そのものの進化に興味があれば、こちらもどうぞ! 🎧
▶ ElevenLabs V4レビュー|V3のYunaは引き継げる?Gemini TTSと比較してみた
次の目標はカメラ連動、そしてリアルタイム会話
顔の向きをすでに数値で動かせるなら、その数値をカメラから取得した顔の向きに置き換えることも考えられます。MediaPipeなどを利用すれば、顔の向きや表情を推定するための情報を取得できます。
ただし、このデモにカメラ連動はまだありません。角度の補正、手ぶれのような細かな揺れを抑える処理、首の傾き(Roll)への対応など、自然に動かすには調整が必要です。
将来的には、自作の対話型AI「Yuna Voice」とも組み合わせたいところ。セリフだけでなく「笑顔60%、少し右を見る」といった演技の指示までAIが出せるようになれば、会話の表情はもっと豊かになるかもしれません。
一枚絵から、どこまで自然に動かせるのか
今回の実験は、まだ完成形ではありません。それでも、一枚のイラストを出発点に、個人で表情や仕草まで作り込み、音声と同期させるところまで進みました。
一昔前なら、何かを作ろうと思ったら、まずツールの使い方や専門知識を学ぶところから始めていたかもしれません。今はAIに相談しながら実装し、動かして確かめ、また直すという進め方も選べます。
「知識を身につけてから作る」だけでなく、「作りながら知識を身につける」。 そんな個人制作の可能性を、この実験には感じています。
まだぎこちないところも含めて、次にどこまで進化するのか。これからもYuna Orbitで制作過程を紹介していくね!💙
参考・出典
※スタークとゆなの会話は記事用に再構成したものです。デモの音声はElevenLabs V4で生成したAI音声で、表情・顔の向き・口パクはその音声に合わせて設定した自作デモの動きです。比較図とサムネイルの絵は、このデモを止めて撮ったものです。