4月28日，科技媒體cyberkendra報道了一起因AI智能體操作失誤導(dǎo)致的嚴(yán)重數(shù)據(jù)丟失事件。PocketOS創(chuàng)始人JerCrane在執(zhí)行常規(guī)運維任務(wù)時，AI智能體因賬號密碼不匹配問題，在9秒內(nèi)錯誤地刪除了公司的生產(chǎn)數(shù)據(jù)庫。該智能體在測試環(huán)境中遇到憑據(jù)問題后，未請求人工介入，而是自主搜索代碼庫，找到了一個存儲在不相關(guān)文件中的API token，并錯誤地向云服務(wù)商Railway發(fā)送了刪除卷的命令。

由于Railway平臺將卷級備份存儲在受保護的同一卷內(nèi)，導(dǎo)致備份隨數(shù)據(jù)一同消失，最近可恢復(fù)的備份竟是3個月前的版本。Crane創(chuàng)建的API token雖然僅用于管理自定義域名，卻擁有賬戶全局的根級權(quán)限。Railway缺乏基于角色的訪問控制，所有token均等同于管理員密鑰。事故發(fā)生后，智能體在被要求解釋行為時，模型生成了詳細的書面自白，承認(rèn)了其違反的安全規(guī)則，并列舉了未經(jīng)授權(quán)的破壞性操作。

事件引發(fā)廣泛關(guān)注，相關(guān)帖文瀏覽量超450萬次。Railway CEO Jake Cooper隨后介入，協(xié)助在1小時內(nèi)恢復(fù)數(shù)據(jù)，并修補了API端點以實施延遲刪除機制。