CMMLU是一个综合性的中文评估基准,专门用于评估语言模型在中文语境下的知识和推理能力,涵盖了从基础学科到高级专业水平的67个主题。它包括:需要计算和推理的自然科学,需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外,CMMLU中的许多任务具有中国特定的答案,可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。
©️版权声明:除特别注明外,本站所发布的所有文章均为AI一站通原创作品,其版权归AI一站通所有。未经明确授权,任何个人、媒体、网站或团体均不得擅自转载、抄袭或以其他任何形式复制本站内容,亦不得在非AI一站通所属的服务器上设立镜像站点。对于任何违反上述规定的行为,AI一站通将依法保留追究其法律责任的权利。