Nepaisant dirbtinio intelekto, susijusio su „Buzz“, net ir patys pažangiausi regėjimo kalbos modeliai-„GPT-4o“, „Claude Sonnet 3.7“ ir „Gemini 2.5 Pro“-kovoja su dešimtmečių senumo iššūkiu: vaidinti klasikinį pirmojo šaudymo „Doom“.
Ketvirtadienį naujas tyrimų projektas pristatė „VideoGameBench“-AI etaloną, skirtą patikrinti, ar moderniausi regėjimo kalbos modeliai gali žaisti ir įveikti 20 populiarių vaizdo žaidimų rinkinį, naudojant tik tai, ką jie mato ekrane.
„Mūsų patirtis rodo, kad dabartiniai moderniausi VLM iš esmės stengiasi žaisti vaizdo žaidimus dėl didelio išvadų latencijos“,-teigė tyrėjai. „Kai agentas paima ekrano kopiją ir klausia VLM apie tai, kokius veiksmus imtis, kol atsakymas grįš, žaidimo būsena žymiai pasikeitė, o veiksmas nebėra aktualus“.
Tyrėjai pareiškė, kad jie naudojo klasikinius „Game Boy“ ir „MS-DOS“ žaidimus dėl paprastesnių vaizdų ir įvairių įvesties stilių, pavyzdžiui, pelės ir klaviatūros ar žaidimų valdiklio, o tai geriau išbando vizijos kalbos modelio erdvinio samprotavimo galimybes nei teksto žaidimai.
„VideoGameBench“ sukūrė kompiuterių mokslininkas ir AI tyrėjas Alexas Zhangas. Žaidimų komplektas apima tokius klasikus kaip „Warcraft II“, „Age of Emperies“ ir Persijos princas.
Tyrėjų teigimu, atidėti atsakymai yra problemiškiausi pirmojo asmens šauliams, tokiems kaip „Doom“. Šioje greito tempo aplinkoje ekrano kopijoje matomas priešas jau galėjo judėti ar net pasiekti žaidėją, kai modelis veikia.
Programinės įrangos kūrėjams „Doom“ jau seniai tarnavo kaip „Litmus“ testas, skirtas technologinių galimybių žaidimų aplinkoje. Lawnmowers, Bitcoin ir net žmogaus žarnyno bakterijos susidūrė su demonais iš pragaro ir su skirtingais sėkmės lygmenimis. Dabar AI eilė.
„Tai, kas ištraukė„ Doom “iš 90 -ųjų šešėlių ir į šiuolaikinę šviesą, yra ne jo kniedžiantis žaidimas, o greičiau patrauklus skaičiavimo dizainas“, – anksčiau jis anksčiau sakė MIT biotechnologijų tyrėjas Lauren Ramlan. Iššifruoti. „Sukurtas ant„ ID Tech 1 “variklio, žaidimas buvo sukurtas tam, kad būtų reikalaujama tik kukliausių sąrankų, kurias reikia žaisti.“
Be kovos su žaidimų aplinkos supratimu, modeliams dažnai nepavyko atlikti pagrindinių žaidimo veiksmų.
„Mes pastebėjome dažnus atvejus, kai agentui buvo sunku suprasti, kaip jo veiksmai, tokie kaip judėjimas teisingai, išvers į ekraną“, – teigė tyrėjai. „Labiausiai nuoseklūs visų pasienio modelių nesėkmė buvo nesugebėjimas patikimai kontroliuoti pelės tokiuose žaidimuose kaip civilizacija ir„ Warcraft II “, kur būtini tikslūs ir dažni pelių judesiai“.
Siekdamas geriau suprasti dabartinių AI sistemų apribojimus, „VideogameBench“ pabrėžė, kad svarbu įvertinti jų samprotavimo gebėjimus aplinkoje, kuri yra ir dinamiška, ir sudėtinga.
„Skirtingai nuo ypač sudėtingų sričių, tokių kaip neišspręstos matematikos įrodymai ir„ Olympiad “lygio matematikos problemos, vaizdo žaidimų žaidimas nėra superžmogiškas samprotavimo užduotis, tačiau modeliai vis dar stengiasi juos išspręsti“,-sakė jie.
Redagavo Andrew Haywardas
Gg Informacinis biuletenis
Gaukite naujausias „Web3“ žaidimų naujienas, tiesiogiai išgirskite iš „Gaming Studios“ ir influencerių, apimančių erdvę, ir gaukite iš mūsų partnerių galią.
