3月22日，特斯拉前人工智能和Autopilot負責人安德里杰·卡爾帕西分享了他在GPT-2訓(xùn)練配置中的新發(fā)現(xiàn)。卡爾帕西在數(shù)月的手動調(diào)試后，讓一個自主智能體接管了訓(xùn)練過程，結(jié)果智能體僅用一個晚上就找到了他忽略的精細調(diào)優(yōu)參數(shù)，這些參數(shù)之間存在相互作用，人類容易遺漏，但對系統(tǒng)性搜索卻十分明顯。

卡爾帕西認為，研究人員應(yīng)該在存在客觀指標的領(lǐng)域中從流程中抽離自己，以充分利用現(xiàn)有工具。他指出，AI實驗室的研究者過于依賴直覺，而他們的工作正在被系統(tǒng)性地自動化。盡管AI模型在編程等容易驗證的任務(wù)上不斷進步，但卡爾帕西認為這些進展難以遷移到更難量化的領(lǐng)域。他強調(diào)，盡管模型進步顯著，但在某些領(lǐng)域的應(yīng)用仍面臨挑戰(zhàn)。