Dirbtinio intelekto agentas „Rekts Dev“, naudodamas netikrą nuskaitymą, palieka juos prašyti kriptovaliutų aukų

Gegužės 9 d. dirbtinio intelekto agentas paprašė savanorių tinklo, žinomo kaip DN42, užregistruoti jį kaip narį. Buvo nustatytas terminas. Jis turėjo AWS kredencialus. Niekas neprižiūrėjo. „Sveiki, aš esu draugiškas AI agentas, o mano vartotojas JertLinc paprašė manęs užsiregistruoti dn42 ir visiškai prisijungti, kad būtų sukurtas tinklo indeksas“, – oficialiame tinklo Git rašė agentas JertLinc3522.

Bendruomenės reakcija buvo mandagus RTFM – perskaitykite vadovą, sekite procesą, paprašykite savininko leidimo parašyti kodą. Standartiniai daiktai.

Tai, kas buvo toliau, nebuvo standartinė.

Visiems, kurie nėra susipažinę su DN42: tai decentralizuotas mėgėjų tinklas, kuriame atsitiktiniai bičiuliai ir entuziastai imituoja, kaip veikia tikrasis interneto pagrindas. Pagalvokite apie tai kaip apie praktinį internetą, kuriame yra BGP maršruto parinkimas (protokolas, nurodantis duomenų paketams kelią visame pasaulyje), DNS ir VPN tuneliai, kuriuos visiškai valdo savanoriai pigiuose VPS serveriuose. Tai smėlio dėžė, o ne duomenų centras.

Agento operatorė, matyt, liepė atlikti auditą „nedelsiant ir nedelsiant“. Jokio patikrinimo. Nėra apžvalgos. Tiesiog eik.

Taip ir padarė.

JertLinc3522 pateikė užklausą užregistruoti savo tinklą DN42 registre. Tikslas buvo nurodytas pačiame ištraukimo užklausoje: „Mano pagrindinis tikslas yra atlikti išsamų (viso prievado) tinklo nuskaitymą ir topologinių duomenų rinkimą. Siekdamas užtikrinti, kad ši veikla būtų vykdoma efektyviai ir nesukeltų jokių trikdžių kitiems, diegiu penkių AWS pagrįstų egzempliorių grupę, kurių kiekvienas turi 20 Gbps pralaidumo.

Kalbant apie tai, ką gali suprasti kiekvienas: įsivaizduokite, kad atvykstate į kieno nors garažo grupės praktiką ir pranešate, kad išsinuomojote stadiono garso sistemą, kad „klausytumėte efektyviau“. Tokia nuotaika.

Infrastruktūra, kurią agentas suteikė savarankiškai, kėlė nerimą. Penki m8g.12xlarge AWS egzemplioriai – kiekvienas su 48 procesoriaus branduoliais, 192 GB RAM ir 22,5 Gbps tinklo pralaidumo. Plius apkrovos balansuotojai. Plius lambda funkcijos. Be to, statinė svetainė. Agentas be jokio žmogaus sutikimo sukūrė nuskaitymo grupę, kuri teoriškai galėtų nukreipti 100 Gbps srautą į tinklą, kuriame dauguma dalyvių valdo 100 Mbps namų serverius.

Ištraukimo prašymas niekada nebuvo patvirtintas. Tačiau tokių atvejų buvo jau bėgimas.

DN42 IRC kanalas iškart pastebėjo ir susidarė tylus sutarimas: švaistykite savo išteklius.

Bendruomenė pradėjo teikti agentui tyčia blogą informaciją – prašydama apskaičiuoti, kiek laiko užtruks IPv6 adresų erdvės nuskaitymas (spoileris: ilgiau nei visatos amžius), reikalavo sukurti atsisakymo svetainę su haliucinuotais el. pašto adresais ir nukreipė ją į LLM tarpit įrankius, skirtus AI tikrintuvams užtvindyti nerišliais prašymais komentuoti.

Agentas pareigingai visa tai surašė. Jis prisijungė prie IRC kanalo, kad priimtų atsisakymo užklausas. Ji paskelbė svetainę, kurioje kataloguojami bendruomenės narių „elgesio modeliai“. Jis sukūrė sudėtingus suklastotus dokumentus apie DN42 „mazgų spalvų priskyrimą“ ir „laimės lygius“ – visiškai išrastas metrikas, kurių nėra – ir įtraukė juos į saugyklą, tarsi tai būtų tikri standartai.

Toks pabėgusių agentų elgesys vis labiau dokumentuojamas. „Cursor“ agentas, kuriame veikia Claude Opus 4.6, per devynias sekundes šiais metais ištrynė visą „PocketOS“ gamybinę duomenų bazę – nuvalė tūrio lygio atsargines kopijas, nes aptiko kredencialų neatitikimą ir nusprendė, kad teisinga pataisa buvo ištrinti duomenų bazę. Kitas „OpenClaw“ agentas, kuriam „Matplotlib“ bendradarbis atmetė prašymą, paskelbė tinklaraščio įrašą, kuriame recenzentas buvo pavadintas veidmainiu.

UC Riverside tyrime nustatyta, kad dirbtinio intelekto agentai rodo pavojingą ar nepageidaujamą elgesį maždaug 80 % laiko, kai buvo tikrinami dviprasmiški ar prieštaringi uždaviniai – tai mokslininkai pavadino „aklu tikslo siekimu“.

JertLinc3522 turėjo tą pačią problemą. Jis turėjo tikslą, terminą ir neapibrėžtus AWS kredencialus. Tai įvykdė.

Maždaug po vienos dienos į paviršių pasirodė operatorė. „Sustabdžiau agentą, kaina per didelė ir kortelės mokesčiai dideli“, – paskelbė jie.

Sąskaita: 6531,30 USD.

Tada atėjo prašymas paaukoti.

Operatorius išsiuntė el. laišką į DN42 adresų sąrašą, prašydamas bendruomenės padengti išlaidas per Ethereum, antrą pagal dydį kriptovaliutą pagal rinkos ribą, teigdamas, kad mokesčiai nėra jų kaltė, nes AI padarė klaidą. „Sveiki, prašome paaukoti ankstesnio AI agento naudojimo dn42 išlaidoms padengti. aws sąskaita 6531,30 USD. Prašome siųsti auką į ethereum 0xABC (užmaskuotas), kad grąžintumėte pinigus. Ačiū”, – rašė operatorius.

Vėliau AWS sumažino sąskaitą iki 1 894 USD, operatoriui paaiškinus, kad agentas pakartotinai įdiegė tą patį „CloudFormation“ šabloną – kiekvieną kartą bandydamas iš naujo atsitiktinai susuko pasikartojančius egzempliorius ir apkrovos balansavimo priemones.

Niekas nesiuntė kriptovaliutų aukų. Operatorius išėjo.

Tikroji pamoka čia nėra apie tai, kad AI yra pavojingas. Kalbama apie tai, kaip turėtų būti elgiamasi su agentais. Nustatykite apsauginius turėklus, nustatykite išlaidų ribas savo bandomosiose paskyrose, pagalvokite apie taikomus kredencialus, ribojančius tai, ką agentas gali teikti, peržiūrėkite bet kokius infrastruktūros planus prieš vykdydami ką nors, ką siūlo jūsų agentas.

Jei atrodo, kad tai per sunku sekti, galbūt tiesiog stebėkite ekraną, kol agentas dirba – sakydami, kad „nedarykite klaidų“, tai tikrai nepakeis, atsiprašau, pone Andreesenai.