Kažkas pastatė veikiantį AI pokalbių programą „Minecraft“ viduje – kaip kaip

Savaitgalį „Minecraft Maestro“ atliko įspūdingą žygdarbį: įterpdamas darbinio kalbos modelio išvadų variklį nepaprastai populiaraus „Sandbox“ žaidime. Laimikis? Visi „laidai“ buvo daromi naudojant „Minecraft“ „Redstone“ sistemą-jokių komandų blokų, be modelių (be pagalbos teikimo), tiesiog grandinės logika, sukurta iš žaidimo medžiagų.

Rezultatas yra keistas, skausmingai lėtas, tačiau žavus: GPT stiliaus pokalbių programas bloko pasaulyje, pastatytas iš skaitmeninio raudonojo akmens ir analoginės logikos.

Norėdami suprasti kaskadą, turite žinoti, ką Redstonas yra. „Minecraft“ „Redstone“ yra žaidimo analogas laidų ir elektroniniams komponentams: maitinimo šaltiniai, kartotuvai, lygintuvai, loginiai vartai, signalo vėlavimai – visi, sukurti su blokais. „Redstone“ grandinės mėgdžioja skaitmeninį elgesį (įjungtas/išjungtas, loginės operacijos) žaidimų pasaulyje.

Žaidėjai seniai pastatė skaičiuotuvus, atminties blokus ir net centrinius procesorius „Minecraft“ naudodamiesi „Redstone“ – ir dabar jie stumia jį į AI teritoriją. „Sammyuri“, asmuo, kuris stato GPT įsilaužimą, netgi sukūrė „Minecraft“ rekursinę versiją „Minecraft“, naudodamas „Redstone“.

Šiame projekte kūrėjas pirmą kartą išmokė mažos kalbos modelį už žaidimo ribų (Python), naudodamas duomenų rinkinį, vadinamą pavadinimu Tinychat. Tas modelis yra maždaug 5 087,280 parametrai240 įterpimo matmenys, maždaug 1 920 žetonų žodynas, šeši sluoksniai ir 64 žetonų kontekstinis langas. Dauguma svorių yra kiekybiškai įvertinami iki 8 bitų, nors įterpimo ir layernorm svoriai naudoja didesnį tikslumą. Pats „Redstone Build“ apima apytiksliai 1 020 × 260 × 1 656 blokai (Iš viso ≈ 439 milijonai blokų). Norėdami filmuoti skalę, kūrėjas naudojo Tolimas horizontas Mod, kuris leidžia vizualizuoti tolimas struktūras milžiniškame pasaulyje.

Kai įvedate raginimą (per žaidimo sąsają), „Redstone“ grandinės atlieka išvadą žingsnis po žingsnio, įterpiamos paieškos, tiekimo pravažiavimų, matricos daugybos ir „SoftMax“ apytiksliai. Remiantis vaizdo įrašų demonstracija, sudėtingas „Redstone“ kūrimas užtruko mėnesius.

Tačiau sistema yra ledinė. Net esant dirbtinai padidintam erkių greičiui (~ 40 000 × greičiau nei įprasta, per MCHPR), reakcijos laikas yra poros valandų tvarka. Esant standartiniam „Minecraft“ greičiui Devyneri metai generuoti atsakymą.

Vis dėlto projekto esmė nėra naudinga – tai demonstracija. Savo širdyje šis pastatymas yra žaismingas įrodymas, kad nervų išvados gali būti pakeistos į beveik bet kokį loginį substratą. Tai mums primena, kiek abstrakcijos mūsų programinės įrangos ir aparatūros kaminų slėpimas: ta architektūra, terpė ir greitis yra atskiri matmenys. Kitaip tariant, tai yra techninio meno kūrinys, pokalbio startuolis: Svarbu skaičiavimas, nebūtinai ten, kur jis veikia.

Ar tai svarbu? Taip, taip yra

Akivaizdu, kad tai nėra praktiška, tačiau šaunu, nes jis parodo ką nors gilaus: tą loginį ir nervinio stiliaus skaičiavimą galima susieti su keistais substratais-čia, virtualiomis Redstone grandinėmis. Tai žaismingas įrodymas Skaičiavimo universalumasmeninis ir edukacinis demonstravimas ir iššūkis mūsų prielaidoms, kaip ir kur gali būti „intelektas“.

Tai verčia mus paklausti: kas iš tikrųjų svarbu modelyje – architektūroje, vidutiniame, greičiui – ir kokius kitus keistus substratus galima išbandyti (optika, DNR, mechaninės sistemos)?

Visame internete kūrimas uždegė diskusijas. Tomo aparatūra Nutraukė gabalą, suskaidydamas blokų skaičių, „Redstone“ logiką ir našumo kompromisus. Ant Įsilaužėlių naujienoskomentatoriai stebėjosi inžinerija, tačiau taip pat spaudė apribojimus: „Esant normaliam raudonojo akmens erkių greičiui … atsakymui prireiktų šiek tiek daugiau nei 9 metų“. Tuo tarpu „Minecraft Subreddit“ gerbėjai ir skeptikai diskutavo, kiek pasiekimų yra spektaklis ir techninis gylis.

Kai kurie stebėtojai siūlo projektui riboti meme daugiau nei tyrimus. Iš tikrųjų tikrasis mokymas įvyko išorėje; „Minecraft“ priima tik išvadų logiką. Tai daugiau nei praktinis modelis. Bet būtent tai suteikia žavesio ir tikslo.