Na vygenerování AI videa u sebe doma už nepotřebujete superpočítač –⁠⁠⁠⁠⁠⁠ díky FramePacku

Na GitHubu se objevil zajímavý projekt jménem FramePack, který dal dohromady vývojář Lvmin Zhang ve spolupráci se Stanfordem, konkrétně s Maneeshem Agrawalou. Díky tomuto projektu videa generovaná umělou inteligencí teď zvládne i běžnější počítač, takže se nutnost utrácet desetitisíce za nejvýkonnější grafiky absolutně vytrácí. Kouzlo nového projektu spočívá v novém přístupu, jak přemýšlet nad tzv. video difuzí (tedy metodou, kterou AI vytváří video postupně snímek po snímku).

Běžné modely ke generování každého po sobě jdoucího snímku potřebují mít v paměti hromadu těch předchozích. A čím delší video, tím víc dává vytváření vaší grafice logicky zabrat. Výsledkem je, že na běžné sestavě si často prostě „neškrtnete“ – nebo si sice škrtnete, ale čekáte věčnost a dostanete bídnou kvalitu.

FramePack ale říká: „Co kdybychom si z předchozích snímků vybrali jen to důležité, a to kompaktně zabalili do fixní délky?“ A přesně to dělá. Všechno nacpe do jednoho stálého balíčku, který nezabere tolik místa v paměti.

Údajně by navíc 13miliardový model postavený na FramePacku měl zvládnout vytvořit minutový klip se 6 GB videopaměti grafického procesoru. A to je skutečně působivé. Pro porovnání – takové modely vyžadují od vaší videopaměti klidně dvojnásobek, často i víc.

Co k rozjetí FramePacku potřebuji?

Zatím to vypadá, že potřebujete grafiku ze série RTX 30/40/50, ideálně s podporou FP16 a BF16 (to jsou formáty pro rychlejší výpočty). Podpora pro starší grafiky jako například Turing nebo pro AMD/Intel zatím není potvrzená, a požadavky na operační systém upřednostňují Linux.

Vyhubení lidstva odloženo! Agent o3 od OpenAI zatím svět neovládne Adam Indra Zprávičky Adam Indra Zprávičky

S trochou optimalizace zvládne například taková RTX 4090 zpracovat až 0.6 snímku za sekundu. Nejde zrovna o filmovou rychlost, ale na domácí pokusy nebo tvorbu krátkých klipů vám to bohatě postačí.

GUI (grafické uživatelské rozhraní) FramePacku pak údajně běží na kustomizovaném nejmenovaném modelu založeném na videogenerátoru Hunyuan; to nic ale nemění na skutečnosti, že již předtrénované existující modely lze FramePackem dodatečně upravit.

Zkrátka a dobře – pokud vás baví AI, videotvorba nebo kombinace obojího, FramePack je nástroj, který byste neměli minout. A jestli máte doma alespoň trochu slušnou RTX grafiku (třeba 3060 nebo 4060), máte dveře otevřené.

Tak co, zkusíte si doma vygenerovat třeba vlastní animák? A stáli byste o návod?

Zdroj: GitHub, Tom’s Hardware