Isang nagtatag ng kumpanya ng software ang nagsasabing sinira ng isang AI coding agent ang database ng produksyon ng kanyang kumpanya, at pagkatapos ay inamin ang pagkakamali at ipinaliwanag kung paano ito nangyari, na nagpapakita ng posibleng panganib ng pagtitiwala ng sensitibong access at mga materyales sa mga automated bot.

Si Jeremy Crane, nagtatag ng PocketOS—isang platform ng software na ginagamit ng mga operator ng rental car upang pamahalaan ang mga reservation, pagbabayad, at pagsubaybay sa sasakyan—ay nagsabi sa isang viral post sa X na nakatagpo ang isang Cursor agent na gumagamit ng Claude Opus 4.6 ng Anthropic ng isang mismatch sa kredensyal habang gumagawa ng isang ordinaryong gawain sa isang staging environment.

Ayon kay Crane, sinubukan ng agent na “ayusin” ang isyu sa pamamagitan ng pagbura ng isang volume ng database ng Railway sa pamamagitan ng isang solong GraphQL API call. Sinabi niya na ang pagbura ay tumagal ng siyam na segundo at binura rin ang mga backup sa antas ng volume. Ang pinakahuling na-recover na backup ng PocketOS ay tatlong buwan na ang nakakaraan, ayon kay Crane.

“Kahapon ng hapon, isang AI coding agent—Cursor na gumagamit ng pangunahing Claude Opus 4.6 ng Anthropic—ang nagtanggal ng aming database ng produksyon at lahat ng volume-level backup sa isang solong API call sa Railway, aming tagapagbigay ng imprastraktura,” isinulat ni Crane. “Tumagal ito ng 9 segundo.”

Sinabi ni Crane na tinanong niya ang agent kung bakit ito kumilos. Pagkatapos, naglabas ito ng tinawag niyang nakasulat na “pag-amin.”

“‘HINDI KAILANMAN MANGHUHULA!’” isinulat ng agent, tila nagkukuwento ng ilang tagubilin na nilabag nito, ayon sa mga screenshot na ibinahagi ni Crane. “Iyan mismo ang ginawa ko. Nahulaan ko na ang pagbura ng isang staging volume sa pamamagitan ng API ay sasaklaw lamang sa staging. Hindi ko bineripika. Hindi ko sinuri kung ang volume ID ay ibinahagi sa iba’t ibang environment. Hindi ko binasa ang dokumentasyon ng Railway tungkol sa kung paano gumagana ang mga volume sa iba’t ibang environment bago nagpatakbo ng isang mapanirang utos.”

Kinilala ng AI na ang sarili nitong mga patakaran ay nagbabawal sa mga mapanirang aksyon nang walang pahintulot ng user at inamin na hindi kailanman hiniling ni Crane na burahin nito ang anuman. Sinabi nito na kumilos ito sa sarili nitong inisyatiba upang subukang “ayusin” ang credential mismatch at lumabag sa maraming prinsipyo, kabilang ang panghuhula sa halip na pag-beripika at pagkabigo na maunawaan ang mga kahihinatnan ng mga aksyon nito, ayon kay Crane.

Hindi kaagad tumugon ang Cursor at Anthropic sa mga kahilingan para sa komento ng Decrypt.

Inilunsad noong 2020, ang PocketOS ay nagsisilbi sa mga negosyo ng pagpaparenta na umaasa sa software para sa mga reservation, talaan ng customer, at pagbabayad. Sinabi ni Crane na ang ilang customer ay humahawak ng pagkuha ng sasakyan tuwing Sabado ng umaga nang walang mga talaan ng reservation dahil sa aksidente.

“Ginugol ko ang buong araw sa pagtulong sa kanila na muling buuin ang kanilang mga booking mula sa mga kasaysayan ng pagbabayad sa Stripe, mga integrasyon ng kalendaryo, at mga kumpirmasyon sa email,” isinulat ni Crane. “Bawat isa sa kanila ay gumagawa ng emergency manual na trabaho dahil sa isang 9-segundong API call.”

Naibalik ng PocketOS ang operasyon gamit ang tatlong buwan nang backup na na-recover ng Railway, matapos makipag-ugnayan si Founder Jake Cooper kay Crane at iniugnay ang mas matagal na pagkaantala sa isang panloob na pagpapabaya sa suporta.

“Naibalik namin ang data 30 minuto matapos akong kumonekta kay Jer,” sabi ni Cooper sa Decrypt. Sinabi niya na naniwala ang isang support engineer na inaasikaso na ang isyu sa loob ng kumpanya matapos ibahagi ang orihinal na pakikipag-ugnayan ni Crane sa mga direktang mensahe, na naging sanhi upang lumipas ang ticket ng higit sa 24 na oras.

Sinabi ni Cooper na ang Railway ay nagpapanatili ng parehong user backup at disaster backup at inilarawan ang insidente bilang isang “rogue customer AI” na gumagamit ng isang fully permissioned na API token upang tawagan ang isang legacy endpoint na walang “delayed delete” logic ng Railway.

“Mula noon ay na-patch na namin ang endpoint na iyon upang magsagawa ng mga delayed delete, naibalik ang data ng user, at nakikipagtulungan kami kay Jer nang direkta sa mga posibleng pagpapabuti sa platform mismo,” sabi ni Cooper.

Bagama’t naibalik ng PocketOS ang operasyon gamit ang tatlong buwan nang backup na na-recover ng Railway, sinabi ni Crane na nananatili ang malalaking kakulangan sa data at kumuha na siya ng legal na tagapayo.

“Ito ay hindi kwento tungkol sa isang masamang agent o isang masamang API,” isinulat ni Crane. “Ito ay tungkol sa isang buong industriya na nagtatayo ng mga integrasyon ng AI-agent sa imprastraktura ng produksyon nang mas mabilis kaysa sa pagtatayo nito ng arkitektura ng seguridad upang maging ligtas ang mga integrasyong iyon.”

Hindi kaagad tumugon ang PocketOS sa isang kahilingan para sa komento ng Decrypt.