StableDiffusion、手書きイラストimg2img,cannyの実験
2025年7月31日の実験
手書きイラスト上半身（顔と首）、ポンチ絵をiPad AdobeCaptureで撮影して
MedibanPaintでサイズ修正と画像修正を少したものを使用
MedibanPaintでサイズ修正と画像修正を少したものを使用
img2imgの実験
C:\Users\mased\app\AI\stable-diffusion-webui\outputs\img2img-images\2025-07-31
ma-1
モデル：MixtapeBlues
VAE:KIF8Anime2VAE
Adetailerあり
プロンプト：
1man,solo,boy,talking,standing
＞顔と首しかないが、全身を生成してくれた。
画像サイズが小さいのは、もとの512よりも小さくしたので、そのサイズに合わせたのだろうか？
モデルが、リアル系アニメ調のMixtapeBluesなのでポンチ絵が良くなった
なお、オリジナル絵は、口を開けてしゃべっているけど、生成は、口を閉じてる
VAE:KIF8Anime2VAE
Adetailerあり
プロンプト：
1man,solo,boy,talking,standing
＞顔と首しかないが、全身を生成してくれた。
画像サイズが小さいのは、もとの512よりも小さくしたので、そのサイズに合わせたのだろうか？
モデルが、リアル系アニメ調のMixtapeBluesなのでポンチ絵が良くなった
なお、オリジナル絵は、口を開けてしゃべっているけど、生成は、口を閉じてる
Ma-2 同じモデル
1man,solo,boy,talking,standing,smile
＞smileを追加したら、新しいポーズが発生した。プロンプトが増えるまたは変わることでポーズが変わる
ような影響が増えるみたいだ
＞smileを追加したら、新しいポーズが発生した。プロンプトが増えるまたは変わることでポーズが変わる
ような影響が増えるみたいだ
Ma-3
なのでプロンプトにUpperBody上半身を追加してみた
1man,solo,upper body,boy,talking,standing,smile
＞結果は、よりオリジナル画に近いのがでてきた。Img2Imgで使用するオリジナル画に
忠実な表現に近いプロンプトを入れるように心がけると、イメージ通りに近い雰囲気の絵が
できるような気がした.
1man,solo,upper body,boy,talking,standing,smile
＞結果は、よりオリジナル画に近いのがでてきた。Img2Imgで使用するオリジナル画に
忠実な表現に近いプロンプトを入れるように心がけると、イメージ通りに近い雰囲気の絵が
できるような気がした.
なぜか変な文字が入ってる
Ma-4
1man,solo,upper body,boy,talking,standing,shout
怒鳴るような画像なので、Shoutを入れた
＞結果は、smileより悪くなった。Smileは、より洗練されたイラストだったのに、
Shoutは、雑なイラストに落ちてしまった。
プロンプトが影響してるようだ。
怒鳴るような画像なので、Shoutを入れた
＞結果は、smileより悪くなった。Smileは、より洗練されたイラストだったのに、
Shoutは、雑なイラストに落ちてしまった。
プロンプトが影響してるようだ。
----
Ma-5
C:\Users\mased\app\AI\stable-diffusion-webui\outputs\txt2img-images\2025-07-31
今度は、
text2imgにして
ControlNetのCanny使用に変える
モデル：MixtapeBlues
VAE:KIF8Anime2VAE
Adetailerあり
Canny使用
1man,solo,upper body,boy,talking,standing,smile
＞オリジナル画にほぼ忠実に色塗りをしてくれた。
なお、Smileなのに、笑っていない。あくまでもオリジナル画を忠実に生成した。Canny使用にすると、Cannyのアルゴリズムが線画に忠実に画像を生成するようだ。
昨日、ロケット画をおなじようにCanny使用にしたときは、すごくリアル系アニメ調だった
何が違うのか？モデルが違った？
text2imgにして
ControlNetのCanny使用に変える
モデル：MixtapeBlues
VAE:KIF8Anime2VAE
Adetailerあり
Canny使用
1man,solo,upper body,boy,talking,standing,smile
＞オリジナル画にほぼ忠実に色塗りをしてくれた。
なお、Smileなのに、笑っていない。あくまでもオリジナル画を忠実に生成した。Canny使用にすると、Cannyのアルゴリズムが線画に忠実に画像を生成するようだ。
昨日、ロケット画をおなじようにCanny使用にしたときは、すごくリアル系アニメ調だった
何が違うのか？モデルが違った？
Ma-6
なので、モデルを
RealisticVisionV60B1_V51HyperVAEにしてみる
VAEはvae-ft-mse-840000
1man,solo,upper body,boy,talking,standing,smile
＞リアルになったわけではなくて、オリジナル画に忠実に生成して色を塗った感じ。
でバックグラウンドに色を塗ってきたようだ。もとはバックは無地だ
RealisticVisionV60B1_V51HyperVAEにしてみる
VAEはvae-ft-mse-840000
1man,solo,upper body,boy,talking,standing,smile
＞リアルになったわけではなくて、オリジナル画に忠実に生成して色を塗った感じ。
でバックグラウンドに色を塗ってきたようだ。もとはバックは無地だ
＞＞＞ここまでをまとめると
まず、画像を生成するときは、
モデルとVAEが重要（Loraがあればこれも）
さらに、
Text2IMG（canny）とImg2Imgの組み合わせを試す
１モデルで、２つの出力パターンを試す
なので、モデルが増えるたびに、Text2IMG（canny）とImg2Imgの組み合わせを試す
と面白い画像ができそう。
これにプロンプトが加わることになる
これは想像だけど、モデルやLoraに適したプロンプトが存在するので
それを知っていればより、期待した結果になる。
さらに、
Text2IMG（canny）とImg2Imgの組み合わせを試す
１モデルで、２つの出力パターンを試す
なので、モデルが増えるたびに、Text2IMG（canny）とImg2Imgの組み合わせを試す
と面白い画像ができそう。
これにプロンプトが加わることになる
これは想像だけど、モデルやLoraに適したプロンプトが存在するので
それを知っていればより、期待した結果になる。
そう考えると昨日ロケットの生成したときに、落書きがリアルなロケットになったのは
たまたま偶然そうなっただけなんだろう。
だから、ほしい画像のモデルやLoraを探した上で生成したほうが早道だろう。
そう考えると、結局は自分で描く練習もしたほうが、ほしい画像ができそうな気がする
たまたま偶然そうなっただけなんだろう。
だから、ほしい画像のモデルやLoraを探した上で生成したほうが早道だろう。
そう考えると、結局は自分で描く練習もしたほうが、ほしい画像ができそうな気がする
cannyの場合は、線画を忠実に再現するので、使用するオリジナルに忠実に生成される。
同じ絵がほしいときはCanny使用がよい
まとめ
モデルを変えるたびに、Text2IMG（canny）とImg2Imgの組み合わせを試す
これに、Loraの変更の組み合わせを試す
さらに、きちんとどのモデル等を使ったか、どのプロンプトで生成したかを
メモっておくこと
これに、Loraの変更の組み合わせを試す
さらに、きちんとどのモデル等を使ったか、どのプロンプトで生成したかを
メモっておくこと
