上證報(bào)中國證券網(wǎng)訊（記者 王墨璞嘉）6月6日，記者從天眼查獲悉，科大訊飛申請的“大模型評估方法、裝置、設(shè)備、系統(tǒng)及程序產(chǎn)品”專利今日公布。

　　摘要顯示，該方法首先獲取目標(biāo)大模型問答所得的對話數(shù)據(jù)，基于數(shù)據(jù)之間的跟隨關(guān)系依次對問答對話進(jìn)行指令抽取，從而得到對話指令，并對對話指令打分得到第一得分。其次，提取問答對話對應(yīng)的答案信息，將其與前序答案信息比對得到第二得分。再次，對答案信息進(jìn)行回復(fù)質(zhì)量評價(jià)，得到第三得分。最后，結(jié)合第一得分、第二得分和第三得分，得到目標(biāo)得分，以此對目標(biāo)大模型進(jìn)行評估。

　　據(jù)悉，該方法針對多輪次對話特點(diǎn)進(jìn)行多維度的指標(biāo)配置，實(shí)現(xiàn)了自動(dòng)化評估，可以大幅降低人工的參與度，減少因個(gè)人主觀看法造成的偏差，提高大模型評估的準(zhǔn)確性。