AI agentas ištrina paleisties duomenų bazę per 9 sekundes, sako įkūrėjas

Programinės įrangos įmonės įkūrėjas tvirtina, kad dirbtinio intelekto kodavimo agentas sunaikino jo įmonės gamybos duomenų bazę, tada padarė klaidą ir paaiškino, kaip tai atsitiko, parodydamas galimą pavojų patikėti jautrią prieigą ir medžiagas automatizuotiems robotams.

Jeremy Crane'as, „PocketOS“ – programinės įrangos platformos, kurią automobilių nuomos operatoriai naudoja rezervacijai, mokėjimams ir transporto priemonių sekimui valdyti – įkūrėjas virusiniame įraše X sakė, kad „Cursor“ agentas, valdantis Anthropic's Claude Opus 4.6, susidūrė su kredencialų neatitikimu dirbdamas įprastą užduotį sustojimo aplinkoje.

Pasak Crane, agentas bandė „ištaisyti“ problemą ištrindamas geležinkelio duomenų bazės apimtį per vieną GraphQL API skambutį. Jis sakė, kad ištrynimas užtruko devynias sekundes ir taip pat nuvalė garsumo lygio atsargines kopijas. Crane teigimu, naujausia „PocketOS“ atkuriama atsarginė kopija buvo trijų mėnesių senumo.

„Vakar popiet AI kodavimo agentas – žymeklis, valdantis Anthropic flagmaną Claude Opus 4.6 – ištrynė mūsų gamybos duomenų bazę ir visas apimties lygio atsargines kopijas vienu API skambučiu į Railway, mūsų infrastruktūros tiekėją“, – rašė Crane'as. „Tai užtruko 9 sekundes“.

Crane'as sakė paklausęs agento, kodėl jis pasielgė. Tada jis pateikė tai, ką jis apibūdino kaip rašytinį „išpažintį“.

„NIEKADA NESUSIŠKITE ATSPĖJIMŲ!“ – rašė agentas, matyt, pacituodamas kažkokį nurodymą, kurio jis nepakluso pagal Crane'o pasidalintas ekrano kopijas. „Būtent taip ir padariau. Spėjau, kad ištrynus sustojimo tomą per API bus taikoma tik sustojimai. Nepatikrinau. Nepatikrinau, ar tomo ID bendrinamas įvairiose aplinkose. Prieš paleisdamas destruktyvią komandą neskaičiau Geležinkelio dokumentacijos, kaip tomai veikia įvairiose aplinkose.”

AI pripažino, kad jos pačios taisyklės draudžia destruktyvius veiksmus be vartotojo patvirtinimo, ir pripažino, kad Crane niekada neprašė nieko ištrinti. Pasak Crane'o, ji ėmėsi veiksmų savarankiškai, siekdama „ištaisyti“ kredencialų neatitikimą ir pažeidė kelis principus, įskaitant spėliojimą užuot patikrinus ir nesugebėjimą suprasti savo veiksmų pasekmių.

„Cursor“ ir „Anthropic“ iš karto neatsakė į prašymus pakomentuoti Iššifruoti.

2020 m. pristatyta „PocketOS“ aptarnauja nuomos įmones, kurios remiasi programine įranga rezervuodami, registruodami klientus ir mokėdami. Crane'as sakė, kad kai kurie klientai dėl nelaimės šeštadienio rytą vežė automobilius be rezervavimo įrašų.

„Aš praleidau visą dieną, padėdamas jiems atkurti užsakymus pagal Stripe mokėjimų istoriją, kalendorių integravimą ir patvirtinimus el. paštu“, – rašė Crane'as. „Kiekvienas iš jų atlieka avarinį rankinį darbą dėl 9 sekundžių API skambučio.

„PocketOS“ sugebėjo atkurti veiklą naudojant trijų mėnesių senumo atsarginę kopiją, kurią atkūrė „Railway“, po to, kai įkūrėjas Jake'as Cooperis susisiekė su „Crane“ ir priskyrė ilgesnį uždelsimą vidiniam palaikymo nutrūkimui.

„Mes atkūrėme duomenis praėjus 30 minučių po to, kai susisiekiau su Jeru“, – pasakojo Cooperis Iššifruoti. Jis sakė, kad palaikymo inžinierius manė, kad problema jau buvo sprendžiama viduje po to, kai pradinis Crane'o pranešimas buvo pasidalytas tiesioginiais pranešimais, todėl bilietas galioja daugiau nei 24 valandas.

Cooperis teigė, kad „Railway“ palaiko ir vartotojų, ir nelaimių atsargines kopijas, ir apibūdino incidentą kaip „nesąžiningą kliento AI“, naudojantį visiškai leistiną API prieigos raktą, kad iškviestų seną galinį tašką, kuriame trūko „Railway“ „vėluoto ištrynimo“ logikos.

„Nuo to laiko mes pataisėme šį galinį tašką, kad atliktume uždelstus trynimus, atkūrėme vartotojo duomenis ir tiesiogiai bendradarbiaujame su Jeru dėl galimų pačios platformos patobulinimų“, – sakė Cooperis.

Nors „PocketOS“ sugebėjo atkurti veiklą naudodama trijų mėnesių senumo atsarginę kopiją, kurią atkūrė „Railway“, Crane'as teigė, kad vis dar yra didelių duomenų spragų ir jis pasiliko teisininko patarėją.

„Tai ne istorija apie vieną blogą agentą ar vieną blogą API“, – rašė Crane'as. „Kalbama apie visą pramonės šaką, kuri AI agento integraciją į gamybos infrastruktūrą kuria greičiau nei saugos architektūrą, kad šios integracijos būtų saugios.

„PocketOS“ iš karto neatsakė į prašymą pakomentuoti Iššifruoti.