4月30日，蘋果公司與加州大學(xué)圣迭戈分校合作，在最新論文《LaDiR：潛在擴(kuò)散增強(qiáng)LLM文本推理》中提出了一種新的框架，旨在提升大語言模型（LLM）在文本推理任務(wù)中的表現(xiàn)。該框架名為L(zhǎng)aDiR，它通過并行探索多條推理路徑，并在最終輸出時(shí)采用自回歸方式，以提高結(jié)果的質(zhì)量。

LaDiR框架并非一個(gè)全新的模型，而是一個(gè)可以疊加在現(xiàn)有模型之上的通用框架，它改變了模型處理問題的方式。該框架結(jié)合了擴(kuò)散模型和自回歸模型兩種主流的生成范式，利用擴(kuò)散模型在推理階段進(jìn)行并行處理，而在最終輸出階段則使用自回歸模型以保持輸出的連貫性。LaDiR的獨(dú)特之處在于其并行推理機(jī)制，系統(tǒng)在推理時(shí)會(huì)同時(shí)啟動(dòng)多條獨(dú)立的推理路徑，每條路徑從隨機(jī)噪聲開始，通過擴(kuò)散過程逐步優(yōu)化成連貫的推理步驟。此外，框架還引入了多樣性鼓勵(lì)機(jī)制，以確保每條路徑能探索不同的解題思路，生成多樣化的候選答案池。

研究團(tuán)隊(duì)在Meta的LLaMA3.18B和Qwen3-8B-Base模型上部署測(cè)試LaDiR框架，并在數(shù)學(xué)基準(zhǔn)測(cè)試中取得了比現(xiàn)有方法更高的準(zhǔn)確率，尤其在面對(duì)更困難的分布外任務(wù)時(shí)表現(xiàn)突出。在代碼生成測(cè)試HumanEval中，LaDiR生成的代碼更加可靠，難題上的表現(xiàn)明顯優(yōu)于標(biāo)準(zhǔn)微調(diào)方法。在謎題規(guī)劃任務(wù)中，LaDiR能探索更廣泛的解空間，找到正確解的概率高于所有通用基準(zhǔn)模型。盡管如此，LaDiR在單次嘗試準(zhǔn)確率上仍略遜于專門針對(duì)特定任務(wù)優(yōu)化的專用模型，顯示出通用框架在追求廣泛適用性的同時(shí)，在極致專精領(lǐng)域仍有提升空間。