I transform real person dancing to animation using stable diffusion and multiControlNet
byu/neilwong2012 inStableDiffusion
この技術が一般化すれば、暑苦しいモーションキャプチャー用のスーツを着なくて済みますね。
このムービーを公開したユーザーのneilwong2012さんによると、4つのControlNetを使って生成しており、パラメーターを調整しているとのこと。アニメは非常に滑らかですが、これは背景が固定されていることが大きく功を奏しているとneilwong2012さんは述べています。また、アニメ化に使ったという「animeLike25D」というモデルデータは、ノイズ除去強度が低くても実在の人物をキレイにアニメ化できるのが特徴だそうです。ただし、neilwong2012さんによると、animeLike25Dは激しく体を動かすような映像をアニメ化するのには向いていないとのこと。