NVIDIA lansirala Cosmos 3: Prvi otvoreni omni-model
Objedinjeni model za vizualno razumijevanje i generiranje
NVIDIA je predstavila Cosmos 3, revolucionarni objedinjeni model dizajniran za razumijevanje i simulaciju fizičkog svijeta. Ovaj model označava veliki iskorak za robotiku, autonomna vozila i pametne prostore.
Ključni detalji
Cosmos 3 je omni-model izgrađen na arhitekturi mješavine transformatora (MoT). Umjesto korištenja zasebnih modela za generiranje slika, videozapisa i razumijevanje okoline, Cosmos 3 obrađuje tekst, slike, video, zvuk i radnje unutar jednog sustava. Model može generirati video iz teksta i slika, planirati radnje robota te simulirati dinamična okruženja. Uključuje dvije verzije: Nano s 8 milijardi parametara i Medium sa 16 milijardi parametara.
Zašto je to važno
Dosadašnji razvoj fizičke umjetne inteligencije zahtijevao je spajanje brojnih različitih alata, što je povećavalo složenost i mogućnost pogreške. Cosmos 3 rješava taj problem integriranjem svih potrebnih funkcija u jedan sustav. Time se značajno olakšava i ubrzava razvoj sustava koji moraju razumjeti stvarni svijet.
Tehnička pozadina
Ovaj model objedinjuje različite modalitete kroz zajednički prostor za reprezentaciju, omogućujući modelu besprijekoran prijelaz iz uloge vizualno-jezičnog modela u generator videozapisa ili alat za upravljanje robotima.
- Arhitektura mješavine transformatora (MoT) za sve modalitete
- Autoregresivno razumijevanje i difuzijsko generiranje
- Dostupne Nano (8B) i Medium (16B) verzije
Širi kontekst
Otvorenost i integracija s alatima kao što je Hugging Face Diffusers učinit će Cosmos 3 lako dostupnim široj zajednici istraživača i inženjera. Sposobnost simulacije dugih scenarija vožnje i generiranja podataka za obuku robota potaknut će brži napredak u granama tehnologije gdje su podaci iz stvarnog svijeta rijetki i skupi.
Što slijedi
Očekuje se da će zajednica brzo započeti s dodatnim treniranjem (post-training) Cosmos 3 modela za specifične zadatke, robote i industrijska okruženja. NVIDIA također nudi alate koji olakšavaju brzi razvoj i prilagodbu.
Izvor: NVIDIA Objavljeno na portalu Umjetna Inteligencija Blog by ShtefAI, autor: Shtef
