英语得分不能代表多语言表现
作者指出,英语表现不一定能迁移到其他语言。该排行榜报告中文、日文和韩文的字符错误率(CER),并计算这三种语言的宏平均值。Seed TTS Eval 用于英语和中文;其余语言使用 CV3 Eval(零样本)。
支持这项说法
Open TTS Leaderboard:多语言文本转语音与声音克隆的可扩展评估
英语上的表现不一定能迁移到其他语言。支持切换多种语言,以便按多语言表现对模型进行排名。Seed TTS Eval 仅提供英语和中文音频,因此其他语言直接采用 CV3 Eval(零样本)的得分。注意:中文、日文和韩文是基于字符的语言,报告的是字符错误率(CER);跨语言的‘平均 WER’为各语言 WER 的宏平均。
原始摘录
English performance doesn't necessarily translate to other languages. Multiple languages can be toggled to rank models on multilingual performance. Seed TTS Eval only has audio for English and Chinese, so the other languages are simply the score on CV3 Eval (zero shot). Note that Chinese, Japanese, and Korean are character-based languages and so character error rate (CER) is reported, and the “Average WER” across languages is a macro-average across languages.