为什么复旦MOSS大模型的中文水平不如英文？

(资料图)

App 2月21日消息，2月20日晚间，复旦大学邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS，引发各界人士参与内测的热情。一个显著的反馈是，MOSS的英文回答水平比中文高，这在公众与ChatGPT的互动中也有类似体现。为何如此？ 深圳粤港澳大湾区数字经济研究院(IDEA)认知计算与自然语言中心文本生成算法团队负责人王昊表示，“数据质量的差别是主要瓶颈之一。相较于英文数据，中文数据的开源程度较低，导致中文数据集的规模相对较小。此外，英文作为科研主流语言，在学术界和工业界中得到广泛应用，积累了大量高质量的语料数据，这为英文自然语言处理的研究提供了极大的优势。”MOSS研究团队也坦承，“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”（澎湃）

关键词：