AI動画生成のpyramid-flowを入手するには？

オープンソース、MITライセンスで使えるというAI動画生成のpyramid-flowが公開されました。

pyramid-flowとは？

Sora以降KlingやHyperAI、DreamMachine,RunwayMLなど、ハイクォリティなショート動画の生成が可能となりました。

しかし大半はコインを買わないとたくさんつくれないのでオープンソースものがほしいところ。

そんな中登場したPyramid-florはオープンソースのAI動画生成です。Stable Diffusionの動画版みたいなものでしょうか？

公式

Pyramid Flow (pyramid-flow.github.io)

コード

-github

GitHub - jy0205/Pyramid-Flow: Code of Pyramidal Flow Matching for Efficient Video Generative Modeling

-Huggingface

rain1011/pyramid-flow-sd3 at main (huggingface.co)

入手方法

まずGit。

git clone https://github.com/jy0205/Pyramid-Flow
cd Pyramid-Flow

# create env using conda
conda create -n pyramid python==3.8.10
conda activate pyramid
pip install -r requirements.txt

Pythonでロード。PATHにダウンロード場所を指定。

from huggingface_hub import snapshot_download

model_path = 'PATH'   # The local directory to save downloaded checkpoint
snapshot_download("rain1011/pyramid-flow-sd3", local_dir=model_path, local_dir_use_symlinks=False, repo_type='model')

実行でダウンロードが始まります。

サイズは２７GBぐらい。

ComfyUIで使うのはこちら。

【ComfyUI】ComfyUIでFLUX.1を頑張って動かせたので、今度は動画にしてみたいよう | 子育てはるぱぱ