中文通用大模型基準測試SuperCLUE發布 訊飛星火認知大模型國內第一

中證網訊（王珞）5月9日，中文通用大模型綜合性評測基準SuperCLUE正式發布。國產大模型中訊飛科技研發的星火認知大模型總排名第三，國內排名第一。

中文通用大模型基準（SuperCLUE），是針對中文可用的通用大模型的一個測評基準。它主要回答的問題是：在當前通用大模型大力發展的情況下，中文大模型的效果情況。包括但不限于：這些模型不同任務的效果情況、相較于國際上的代表性模型做到了什么程度、這些模型與人類的效果對比如何？

該機構利用SuperCLUE測試基準，對市面上主流的支持中文的通用大模型進行了評測與排名。從排名中我們可以看出，GPT-4一騎絕塵，已經非常接近人類的能力。該基準測試主要關注以下問題：中文大模型在不同任務上的表現如何？與國際代表性模型相比，中文大模型的表現達到了何種程度？中文大模型與人類表現相比如何？該模型可通過多個層面，考驗市面上主流的中文GPT大模型的能力。其中，基礎能力包括了常見的有代表性的模型能力，如語義理解、對話、邏輯推理、角色模擬、代碼、生成與創作等10項能力。專業能力包括了中學、大學與專業考試，涵蓋了從數學、物理、地理到社會科學等50多項能力。中文特性能力，針對有中文特點的任務，包括了中文成語、詩歌、文學、字形等10項多種能力。