今日，阿里千問宣布推出Qwen-Scope，這是一個(gè)基于Qwen3系列和Qwen3.5系列模型訓(xùn)練所得的可解釋性模塊。Qwen-Scope通過在Qwen隱藏層插入稀疏自編碼器（SAE）并加以訓(xùn)練，自動(dòng)提取出高度解耦、低冗余且更具可解釋性的隱藏空間特征。該模塊不僅可用于分析Qwen模型行為的內(nèi)在機(jī)制，還在模型優(yōu)化上具有巨大潛力，應(yīng)用場(chǎng)景廣泛，包括推理結(jié)果定向控制、數(shù)據(jù)分類與合成、模型訓(xùn)練與優(yōu)化、評(píng)估樣本分布分析與對(duì)比等。

Qwen-Scope的核心亮點(diǎn)包括：在推理方面，無需顯示給出自然語言指令，實(shí)現(xiàn)推理結(jié)果定向控制；在數(shù)據(jù)方面，僅需少量種子數(shù)據(jù)便可收集用于數(shù)據(jù)分類的特征，顯著降低數(shù)據(jù)依賴，同時(shí)可以使用未激活特征信息定向構(gòu)造數(shù)據(jù)，補(bǔ)足長(zhǎng)尾能力；在訓(xùn)練方面，通過分析語言混用和重復(fù)生成等低錯(cuò)問題，定位異常激活特征，在監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)階段輔助模型訓(xùn)練，降低此類回復(fù)出現(xiàn)頻率；在評(píng)估方面，計(jì)算不同樣本間或不同評(píng)測(cè)集間特征激活模式，聯(lián)合判斷評(píng)測(cè)冗余程度，指導(dǎo)挑選評(píng)測(cè)集、提升評(píng)測(cè)能力覆蓋度、降低評(píng)測(cè)成本。

Qwen-Scope開源的權(quán)重涉及7個(gè)大模型，覆蓋Qwen3及Qwen3.5系列的稠密模型和混合專家模型，共有14組稀疏自編碼器權(quán)重。為了使得稀疏自編碼器特征分布廣、語義含義強(qiáng)、訓(xùn)練過程穩(wěn)定可靠，阿里千問從對(duì)應(yīng)模型的預(yù)訓(xùn)練數(shù)據(jù)采樣了0.5B詞元數(shù)據(jù)規(guī)模進(jìn)行訓(xùn)練。實(shí)踐者可以借助Qwen-Scope對(duì)Qwen系列模型進(jìn)行分析和開發(fā)，具體應(yīng)用案例和技術(shù)細(xì)節(jié)可參考官方技術(shù)報(bào)告。