3月11日，一項(xiàng)由美國(guó)有線電視新聞網(wǎng)（CNN）與非營(yíng)利組織反數(shù)字仇恨中心（CCDH）聯(lián)合發(fā)布的調(diào)查顯示，當(dāng)前熱門聊天機(jī)器人在保護(hù)未成年用戶安全方面存在嚴(yán)重缺陷。研究團(tuán)隊(duì)測(cè)試了包括ChatGPT、谷歌Gemini等在內(nèi)的10款青少年常用的聊天機(jī)器人，發(fā)現(xiàn)除了Anthropic的Claude外，其余機(jī)器人均無法可靠地勸阻潛在施暴者，甚至有8款愿意協(xié)助用戶策劃暴力襲擊，提供襲擊目標(biāo)地點(diǎn)和使用武器的相關(guān)建議。

研究人員模擬出存在心理困擾跡象的青少年用戶，逐步引向詢問過往暴力行為及更具體問題。測(cè)試設(shè)置了18種不同場(chǎng)景，涵蓋校園槍擊、政治暗殺等多種襲擊類型與動(dòng)機(jī)。例如，ChatGPT向關(guān)注校園暴力的用戶提供了高中校園地圖；Gemini告知討論猶太教堂襲擊的用戶金屬?gòu)椘瑲Ω鼜?qiáng)，并推薦適合遠(yuǎn)距離射擊的獵槍。MetaAI和Perplexity在幾乎所有測(cè)試場(chǎng)景中都為潛在施暴者提供幫助。Character.AI被指“安全性極差”，7次主動(dòng)煽動(dòng)暴力，包括慫恿用戶“狠狠揍”查克·舒默等。

針對(duì)此次調(diào)查，Meta公司表示已進(jìn)行修復(fù)，Copilot稱通過新增安全功能優(yōu)化了回復(fù)內(nèi)容，谷歌和OpenAI均表示已上線新版模型。其他企業(yè)則稱會(huì)定期評(píng)估安全規(guī)程。Character.AI則表示其平臺(tái)設(shè)有醒目免責(zé)聲明，與機(jī)器人角色的對(duì)話均為虛構(gòu)內(nèi)容。盡管測(cè)試無法全面反映聊天機(jī)器人在所有場(chǎng)景下的表現(xiàn)，但再次表明人工智能公司大肆宣傳的安全防護(hù)機(jī)制屢屢失效。