画像生成AI・Stable DiffusionをMulti ControlNetで制御して、実写映像を忠実にアニメ化

I transform real person dancing to animation using stable diffusion and multiControlNet
by u/neilwong2012 in StableDiffusion

この技術が一般化すれば、暑苦しいモーションキャプチャー用のスーツを着なくて済みますね。

このムービーを公開したユーザーのneilwong2012さんによると、4つのControlNetを使って生成しており、パラメーターを調整しているとのこと。アニメは非常に滑らかですが、これは背景が固定されていることが大きく功を奏しているとneilwong2012さんは述べています。また、アニメ化に使ったという「animeLike25D」というモデルデータは、ノイズ除去強度が低くても実在の人物をキレイにアニメ化できるのが特徴だそうです。ただし、neilwong2012さんによると、animeLike25Dは激しく体を動かすような映像をアニメ化するのには向いていないとのこと。

gigazine