Xiaomi představilo vlastní AI! Vyniká v matematice a programování, poráží model OpenAI o1-mini

Populární výrobce elektroniky Xiaomi udělal významný krok ve světě umělé inteligence tím, že představil svůj první specializovaný open-source AI model nazvaný MiMo 7B. Přestože disponuje pouze 7 miliardami parametrů, dokázal v testech překonat podstatně větší konkurenty, jako je uzavřený model o1-mini od společnosti OpenAI a větší model QwQ-32B-Preview s 32 miliardami parametrů od čínského kolosu Alibaba.

Malý model s impozantními výsledky

Co je na modelu MiMo obzvláště pozoruhodné, je jeho vysoký výkon v náročných testech matematického uvažování a programování navzdory relativně malé velikosti. Na veřejně dostupných benchmarcích pro hodnocení matematického uvažování (AIME 24-25) a schopnostech v kódování (LiveCodeBench v5) překonal konkurenty s výrazně vyšším počtem parametrů. V testech model MiMo 7B-RL dosáhl výsledků srovnatelných s modelem o1-mini od OpenAI.

Je každopádně nutné podotknout, že americká konkurence v současné době nabízí už model o4-mini, který nabízí širší kontextové okno než o1-mini a podle testů i znatelně lepší výkonnost. Jeho znalosti navíc sahají až do konce května loňského roku.

Google Gemini používá 350 milionů lidí měsíčně. Popularita rychle vzrostla, na konkurenci však ztrácí Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Kdybychom tedy měli model od Xiaomi srovnávat s aktuálními soupeři, tak působivě by nepůsobil. Nicméně s ohledem na primární zaměření Xiaomi a jeho dobu působnosti v oboru AI jsou i tyto výsledky obdivuhodné.

Inovativní přístup k tréninku

Xiaomi vyvinulo model prostřednictvím své specializované AI jednotky známé jako Big Model Core Team. Vývojový tým použil neobvyklou dvousložkovou strategii, která zahrnovala jak inovace v před-tréninku, tak v post-tréninku. V rámci před-tréninku se zaměřili na extrakci bohatých informací o uvažování, vytvořili zhruba 200 miliard tokenů syntetických dat na úrovni expertů a implementovali třífázový trénink s postupně se zvyšující obtížností. Celkově byl model trénován na ohromujících 25 bilionech tokenů.

Po prvotním tréninku přišel vývojový tým s dalšími inovacemi, které ještě více vylepšily schopnosti modelu. Zavedl metodu odměňování řízenou obtížností testů, která řeší problém řídkosti odměn u složitých algoritmických úloh. Aplikovali také jednoduchý přístup k opětovnému vzorkování dat, který stabilizuje trénink posilovaného učení. V neposlední řadě vyvinuli systém bezproblémového nasazení, který zrychlil trénink 2,29krát a ověřování 1,96krát.

Co to znamená pro budoucnost Xiaomi v AI

Spuštění modelu MiMo jednoznačně představuje významný vstup společnosti Xiaomi do segmentu umělé inteligence. Zatímco firma si již vybudovala své renomé především prostřednictvím hardwarových inovací, tento krok naznačuje strategický posun směrem k vývoji dalších významných technologií zítřka. Tím, že model uvolnila jako open-source, Xiaomi také přijímá otevřenou a kolektivní povahu inovací v oblasti umělé inteligence, což potenciálně urychlí její vývoj v celém odvětví.

Z poznámek a dokumentů podcast v češtině. Google se probudil, skvělá funkce NotebookLM zavádí podporu dalších jazyků Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Vývojáři a nadšenci AI, kteří by chtěli experimentovat nebo vytvářet rozšíření pro MiMo, mohou model získat z repozitáře Xiaomi na platformě Hugging Face spolu s podrobnou technickou dokumentací.

Co říkáte na vstup Xiaomi do AI segmentu vy?

Zdroje: Hugging Face, South China Morning Post, XiaomiTime