旅するプロンプトねこ

こんにちは。たつやです。

（※この記事には、生成AIによる動画コンテンツが含まれます。）

ねこの愛らしさって、その形態（空間勾配）だけでなく、しぐさ（時間勾配）にも表れますよね。それを生成AIで出力したい！

そのためには、どうにかして動画生成の制御をしたくなります。

その仕組みのひとつが prompt travel と呼ばれるもので、動画フレームごとにプロンプトを追加で与えることができます。

つまり、プロンプトの変化を指定して、動きの制御をするわけです。

ためしに、『欠伸をするねこ』を作ってみました。

Prompt travel の指定部分は、以下のような感じです。

0: relaxing,detailed eyes,
8: yawning,opening mouth widely,closing eyes slightly,
16: yawning,opening mouth widely,closing eyes slightly,
23: relaxing,detailed eyes,

8~16フレーム部分は、欠伸のしぐさ（口を大きく開けて、目を少し閉じる）に見えるように指定しました。

さっそく成果物を見てみると、こんな感じでした。

実際には、何度か微調整をしましたが、おおよそ意図通りに動画を生成できたと思います。

こうなると、もっと複雑な動画も作ってみたいですね。

ねこがきゅうりにびっくりして後ろに跳ね上がる動画とか。

そのためにも、もっと理解を深めたいと思います。