LoRAでキャラクリしたプレイヤーキャラのイラストを大量生成する【Stable Diffusion】

最近のゲームは主人公をキャラクリで作成することが多いですよね。

細かく調整して作成した自分のキャラクターは唯一無二の存在であるがゆえに、二次創作のネタとしてはニッチすぎて描いてくれるのは仲良くしてくれている絵描きさんか、もしくは自分で描くしかありません。

でも絵が描けないという方は、ぜひ画像生成AIにチャレンジしてみてください!
絵が描けない人でもめちゃくちゃ素敵なイラストをあっという間に描き上げてくれます。

私も多少は絵を描けるのですが、Stable Diffusionをはじめとした画像生成AIを知ってからは、もう自分で描くことはあきらめましたw

では早速オリキャラをAI君に描いてもらう準備からはじめましょう。

このページでは、SD1.5のモデル(Checkpoint)使用時に使えるLoRAの作り方をご紹介します。

SDXLのモデルで使えるLoRAの作り方については、別記事でご紹介しているのでご確認ください。

『LoRA』とは何か

特定のキャラクターの生成には『LoRA』というものを用意します。

LoRAとは、例えばベースモデルが「スマホの基本使用料」だとすると、LoRAは「電話かけ放題オプション」のようなポジションです。

この例の場合、かけ放題のオプションの契約をしていないと通話料無料での通話はできませんが、オプションを追加することで電話がかけ放題になりますよね。

「A」というキャラクターを学習していないベースモデルで「A」のキャラクターを生成はできませんが、「A」のキャラクターの情報を学習した「LoRA」というオプションを追加することで、本来ベースモデルが認知できていない「A」のキャラクターを生成することが可能になる、といった感じです。

体や装備品などの特徴はいったん後回し!まずは顔と髪型の学習!

体の特徴や装備やアクセサリーも学習したデータを作成すれば生成は可能です。

ですが、SD1.5のモデルを使用して全身を違和感なくAIに生成してもらうには、いろいろと手順を踏まなければならなかったり、追加で準備しなければならないものがあります。
簡単に言えば、めんどくさいですw

なので、まずは顔のアップ(バストアップ)を描けるようにしてあげましょう。
AIに、オリキャラの髪型や顔のパーツの特徴、髪型、肌の色、目の色、耳の形などを学習させることが必要になります。

簡単にLoRAを作成するには、『Kohya’s GUI』というツールを使います。
Stable Diffutionを使えるようになっている方であれば、導入は簡単なはずです。

Windows環境の方はこちらのページをご確認ください。

https://github.com/bmaltais/kohya_ss?tab=readme-ov-file#windows

こちらもわからなければ丁寧に解説してくださっているブログ記事が出てきますので、そちらをご確認ください。
当ブログでも時間があるときに解説ページを作成しようと思います。

学習用の画像データを準備しよう!

インストールができましたら、学習用の画像データの準備をしましょう。

キャラクターの髪型と顔のパーツ、カラーリングなどがわかるバストアップの縦512ピクセル、横512ピクセルのPNG画像を30枚ほど用意します。
必ずこうでないといけないわけではないですが、ルールにしてしまったほが、最初はわかりやすいです。理解ができてきたら調べてもっといいものがあれば、応用してみてください。

横顔を描いてほしいという方は横顔を含めるとよいですが、基本的に顔のイラストは正面か少し角度がついたくらいになると思いますので、イラストで使うだろう範囲の角度で、基本の表情に加えて様々な表情をしているものを用意するといいらしいです。

用意できた画像は、一つのフォルダにまとめて、1.png,2.png,3.pngと連番をつけておきましょう。

画像ごとにプロンプトが書かれたテキストデータを準備しよう!

画像の用意ができたら、今度は画像1枚ずつのプロンプトをまとめたテキストデータを用意します。
30枚の画像を用意したのであれば、30個のテキストデータを作成します。

ファイル名は画像のファイル名と合わせましょう。
1.pngに対して、1.txtというファイルを用意します。

テキストデータを一括で作成してくれるような便利なツールもありますが、知識の少ない人、特に英語が苦手な人にはそれも調べるのに時間がかかってしまったり、理解しないままできたデータでは問題が起きてしまう場合があります。
メモ帳で作成できるものなので、ここは少し手間と時間がかかってしまっても、一度メモ帳で作成してみましょう。

メモ帳を開き、画像1枚ごとに、半角英数字、半角カンマ区切りでプロンプトを入力していきます。
注意点は、最初はそのキャラクターの名前(独自性のあるキーワード)で始めること、例えばキャラクター名が「ほげほげ」さんであれば、テキストの中身が「hogehoge,~~~~」となるようにします。

もう1点は、改行を入れず、最後まで1行で入力することです。

当てはまるけどキャラクターの特徴ではないプロンプトを追加!

2つ目以降に入力するキーワードは、その画像に当てはまるけど、キャラクターの特徴ではないものを入力していきます。

例えば、キャラクターのみが映っており、背景が真っ白の画像である場合は、「白い背景」は「キャラクターの特徴」ではないので、「white background」を入力します。
こうすることで、AI君が「white background」のプロンプトがあるから、この画像は白い背景になっているだな、ということを学習するので、キャラクターとしての特徴から除外してくれることになります。

バストアップの画像であれば「head shot」、正面を向いた画像であれば「front view」、横からの角度の画像であれば「side view」、表情のついたものは各種表情のプロンプトなどを入れてあげるとよいでしょう。
その他、写っているけどキャラクターの特徴ではないものがあれば、適宜追加してください。

『Kohya’s GUI』を使ってLoRAデータ作成開始!

画像とテキストのデータが用意できたら、いよいよ実際にAI君に学習をスタートしてもらいましょう。

ブラウザでKohya’s GUIを開きます。

たくさんのタブが表示されますが、「LoRA」のタブを選択します。

続きは後日加筆します。

AD

投稿者 AI欲望

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です