1月25日，科技媒體Tom'sHardware報(bào)道，AI巨頭谷歌、OpenAI和Anthropic等公司開(kāi)始采用一種新方法來(lái)評(píng)估AI性能，即讓AI模型游玩經(jīng)典游戲《精靈寶可夢(mèng)》系列。Anthropic公司AI部門(mén)負(fù)責(zé)人David Hershey表示，《精靈寶可夢(mèng)》因其復(fù)雜性而受到機(jī)器學(xué)習(xí)社區(qū)的關(guān)注。Hershey從去年開(kāi)始在Twitch平臺(tái)直播，用公司自產(chǎn)模型Claude玩《精靈寶可夢(mèng)》，以此測(cè)試模型性能。

《精靈寶可夢(mèng)》系列游戲?qū)I來(lái)說(shuō)極具挑戰(zhàn)性，玩家需要在游戲中進(jìn)行升級(jí)、訓(xùn)練寶可夢(mèng)、打敗道館館主等非線性流程，涉及判斷、取舍和決策。這對(duì)AI而言是邏輯推理、風(fēng)險(xiǎn)評(píng)估和長(zhǎng)期規(guī)劃能力的考驗(yàn)。研究人員通過(guò)分析AI在游戲中的決策方式，深入理解模型的能力邊界。Hershey將AI玩《寶可夢(mèng)》的結(jié)果分享給客戶，以改進(jìn)控制框架，提升算力使用效率，讓模型更高效運(yùn)轉(zhuǎn)。