Kada se vodeći modeli triju velikih AI kompanija OpenAI, Anthropic i Google suoče na istoj pozornici, koji od njih bolje upravlja robotima?
Dana 20. listopada, RoboColiseum, embodied arena koju su zajednički pokrenuli tvrtka Mifeng Technology, Hugging Face, NVIDIA, Sveučilište Tsinghua i gotovo 20 sveučilišta, tvrtki i znanstveno-istraživačkih institucija iz cijeloga svijeta, objavio je rezultate ovog kruga evaluacije: Claude Opus 5.5 zauzeo je prvo mjesto u ukupnom poretku među četiri vodeća modela, a GPT-6 Astra slijedi odmah iza njega.
Gledajući po podkategorijama, među četiri vodeća modela GPT-6 Astra prednjači u praćenju uputa i prilagodbi na ukupne perturbacije, pri čemu je rezultat za praćenje uputa dosegnuo 99,35; Opus je bolji u prostornom razumijevanju i općim operacijama te je uz najmanju potrošnju tokena u svim krugovima evaluacije osvojio prvo mjesto u ukupnom poretku vodeće skupine. U testovima s perturbacijama kvalitete slike GPT-6.1 Sol jasno zaostaje za ostala tri modela, što pokazuje razlike u stabilnosti različitih modela pri suočavanju s promjenama vizualnih informacija.
No prva dva mjesta u ovom krugu ukupnog poretka i dalje zauzimaju modeli embodied strategija, osobito zadržavajući prednost u dimenziji općih operacija.
Ovo zajedničko nadmetanje pruža industriji izravan referentni okvir za sagledavanje prednosti i slabosti općih velikih modela i modela embodied strategija.
RoboColiseum je oko praćenja uputa, prostornog razumijevanja, prilagodbe na perturbacije i općih operacija predstavio četiri vrste podljestvica sposobnosti i 78 visokovjernih simulacijskih evaluacijskih zadataka, koji prikazuju kako pojedinačne rezultate modela tako i bilježe korake dovršetka zadatka i mjesta neuspjeha, pomažući developerima da brzo lociraju slabosti u sposobnostima modela.
Kao suosnivač, Mifeng pruža RoboColiseumu visokovjerne objekte i simulacijske scenarije, podržava izgradnju evaluacijskih okruženja za složene robotske operacijske zadatke te osigurava temeljne resurse za testiranje sposobnosti modela u različitim interakcijama s objektima, prostornim rasporedima i uvjetima okoline.
Mogu li rezultati modela u simulaciji odražavati stvarne operacijske performanse također je ključno pitanje evaluacije. Prema rezultatima stvarnih testova koje je platforma objavila, korelacija između simulacijske evaluacije RoboColiseuma i stvarne implementacije na strojevima doseže 89,5%, a razlika u evaluaciji istog modela između simulacije i stvarnog svijeta manja je od 10%, što developerima može poslužiti kao referenca za selekciju modela i lociranje problema prije ulaska u testiranje na stvarnim strojevima.
Mifeng Technology pruža sustav opskrbe podacima koji je „sveobuhvatan, kvalitetan i brz”, pokrivajući tri velike podatkovne paradigme: stvarne strojeve, simulaciju i bez tijela. U području simulacije Mifeng pruža dvije vrste resursa — objekte i okolinu — pokrivajući razne predmete za svakodnevnu uporabu i unutarnje scenarije, te nudi mogućnosti rekonstrukcije scena, prikupljanja podataka o ekspertnim putanjama i vizualizacije evaluacijskih rezultata, pomažući timovima za modele u provođenju raznolikog treniranja i evaluacije.
Coliseum izvorno označava starorimski kružni amfiteatar, a RoboColiseum koristi tu sliku za izgradnju višedimenzionalnog sustavnog evaluacijskog sustava, kako bi simulacijskom evaluacijom visoko usklađenom sa stvarnim performansama na strojevima izgradio javnu, neutralnu i reproducibilnu „arenu” i „poligon za treniranje” za modele embodied inteligencije. Svako sveučilište, istraživačka institucija ili korporativni developer može predati svoj model i pristupiti standardiziranom „ispitu”. Od pokretanja u kolovozu, više od 100 timova iz zemlje i inozemstva provelo je treniranje i evaluaciju modela na platformi.
RoboColiseum je sada otvoren developerima diljem svijeta i poziva timove za modele da sudjeluju u evaluaciji.
