みなさんこんにちは！
自作のLoRAを使って生成した画像がSNSで少しリアクションをもらえるようになってモチベーションが上がっております！
モチベーションが上がったおかげか、生成画像のクオリティを上げるアイデアが湧いたり、新しい試みをしてみたり、充実したAIライフを送っています。
今回は、Comfyを使ってイケメン君を喋らせてみました。
音声はないですが、何か喋ってるように見えますよね！
これまでも何度もアニメーションにはチャレンジしてきました。
txt2movだったり、animateDiffだったり。。
なかなか納得のいくもの作れなかったのですが、今回はほぼ理想通りのものが生成できました！
5文字のある言葉を喋って貰ったのですが、わかりますかね？
ヒントは、某アーティストの人気曲の一節、「◯◯◯◯◯のサイン」です・・・w
もしくは、「一万年と二千年前から◯◯◯◯◯」です！w
アニメーションの作成方法
「ん」のときの口のベース画像を作成
何も喋っていない状態（「ん」のときの口）の画像を作成します。
これは普通に表情の指定をしないプロンプトで生成すればできますね。
各母音発音時の口の画像をinpaintで生成
母音が「a」「i」「u」「e」「o」のときの画像を、ベース画像の口周りをinpaintで指定して描き変えていきます。
「a」…open mouth（縦に広い）
「i」…grin
「u」…LoRAを使用
「e」…open mouth（横に広い）
「o」…今回使わなかったから調査中
inpaintで使えるレベルまでガチャしてもいいでしょう。
もしくは、ある程度それっぽくなったところで、Photoshotのゆがみツールで整形してもよいと思います。
Photoshopのゆがみツールは以下の記事で紹介しています！
【超簡単整形】Photoshopの「ゆがみ」フィルターが神すぎる！好みの顔に簡単整形
各画像をスムーズに変化するようComfyUIの中間画像補完Workflowを使ってアニメーションを作成
Workflowは参考にさせていただいたサイト様があるのですがどこだったか失念してしまいました・・・
思い出したらまた紹介させていただきます！
アニメーションのこだわりポイント
アニメーションの常識の話かもしれませんが、アニメーション制作初心者として意識したポイントを載せておきます。
顎も動かす！
母音が「a」「e」のときは、口を開ける分顎が下に下がります。
inpaintで唇だけを変化させるのではなく、顎や頬の下をinpaintの範囲に含めて顎もきちんと動かすことでリアルな感じが出るかと思います。
同じ母音でも違う画像を用意する！
「い」も「し」も母音が同じ「i」ですが、微妙に口元が変化する別の画像を用意しました。
特に、同じ母音が連続する言葉を発するとき、発声した音が聞こえるのであれば違うのでしょう。
ですが、目からの情報だけの場合は、全く同じよりは微妙にでも変化をつけてあげたほうが自然に見える気がしました。
よりクオリティーを高めるアイデア
やろうと思っていたのに忘れてた…
まばたき
どこかのタイミングで瞬きさせることでよりリアルな表現になると思います！
でもこれくらい短いとアニメだと目が乾燥してるのかレベルの早さでまばたきしてしまいそうですね…w
口とあご以外も動かす
顎は動くけど顔が全くぶれないのも不自然ですよね。
顔も少し動かしてあげたほうがリアルになるのかもと思っています。
動かしすぎると変にもなるだろうから、いいバランスを見つけたいです。
顔以外も肩や手を動かしてあげてもよさそうですよね。
いつかほんとに目の前に彼がいるかのような動きをさせてあげることが目標です！
今回は顔のアニメーションのご紹介でしたが、体のアニメーションについても色々チャレンジしています！
公共の場では見づらいアニメーションはPatreonにて公開を予定しております。
ぜひメンバーになって支援していただけると幸いです。