■ ここはAIによる動画実験の部屋。興味のある人は覗いてみてね
Apr 29,2025 AIによる動画生成について
ここ最近はAIによる動画生成もかなり進歩してきていて、いろいろな取り組みがされてきている。
クラウドでの動画生成AIは、Runway、Luma、Sora、Veo 2、KLING、Vidu、Hailuoなどいっぱいある。
しかし何かと制限がかけられていたり、課金がされてしまうため思う存分生成できるわけではない。
そこで、この工房ではローカル環境下、つまりご自宅パソコンでのAI動画生成について簡単に紹介してみたいと思う。
最近では衝撃的なFramePackが発表されたが、これからも更に使いやすいツールが出てくるだろう。
このように生成AIの技術は日々進歩している。自宅で短編映画の制作というのも夢ではなくなるかもしれない。
インストール方法や使い方については、YouTubeや他のウエブサイトが詳しいので、そちらを見ていただきたい。
※この部屋の動画はを裸の子が多いのでそれなりの修正をかけてます。悪しからず。
stable diffusion – Animatediff
左の動画は「森の中で裸で歩く女の子」だ、これはstable diffusion 1.5のエクステンションであるAnimatediffで生成したもの。
フォーマットはMP4で、サイズは512 x 512 px。画像は荒く、滑らかさに欠き、動作もぎこちない。
Animatediffについてはまだ実用的ではないようだ。
※左画像をクリックすると別ページで再生（7秒の動画）
次に、Wan2.1による生成。ローカルPCで画像生成できると最近話題になっている。
かなり滑らかで美しい動画を生成することができる。但し、時間もそれなりにかかる。
現在の環境は、GPUがRTX3060 VRAM 12GB、やはりGPUはもう少し高性能なものがほしい。
またメインメモリもできるだけ積んでおく（最低でも32GB）必要がある。
Wan2.1ではかなり細かい描写をしてくれるが、顔の感じが変わってしまいやすいのが残念なところだ。
※左画像をクリックすると別ページで再生（7秒の動画）
続いて、今話題のFramePackによる生成。これは最近公開されたばかり。かなり完成度が高い。
Wan2.1ほど細かい描写はできないものの、滑らかで美しい動画を生成することができる。
しかも顔の一貫性が保てれている。そしてありがたいのが必要とするVRAMが少なくて済む（6GB）こと。
更にFramePack-eichiという拡張機能を追加すれば、始まりと終わりの静止画を与えることで、その間をAIが補完して動画にしてくれる。
ちょっと前までは難しかった夢のような機能が、今、実現されつつある。
※左画像をクリックすると別ページで再生（6秒の動画）
【May 2,2025】FramePack & FramePack-eichi サンプル動画① 約7秒 624×1080 6.14MB
FramePackとFramePack-eichiで生成したやや大きめの動画です。
約7秒、サイズは624×1080という変則サイズです。
動画編集アプリの機能練習も兼ねて自動トラッキング黒マスクとウオーターマーク入りというちょっとウザい動画です。
※左画像をクリックすると別ページで再生
【May 4,2025】FramePack & FramePack-eichi サンプル動画② 約18秒 624×1080 17.344MB
上のFramePackとFramePack-eichiで生成した動画の続きを生成、追加し、動画編集アプリで編集、環境音とか入れてみました。
最後の方のふとももの生成が少し失敗していますが、手をかければ、なにかと面白そうなものが作れそうです。
※左画像をクリックすると別ページで再生（音が再生されるので注意！）