客观指标补充人类偏好排名
作者指出,客观指标是对人类偏好排名的补充。基于ASR的WER是可懂度的代理指标,说话人相似度用于估计声音身份保留程度;二者均不直接衡量自然度、表现力或听者偏好。
支持这项说法
Open TTS Leaderboard:多语言文本转语音与声音克隆的可扩展评估
重要的是,Open TTS Leaderboard 并不能取代人类偏好排名。基于 ASR 的 WER 仅为可懂度的代理指标,说话人相似度则用于估计声音身份的保留程度。两者均不直接衡量自然度、表现力或听者偏好。尽管如此,它们仍可为基于投票的排行榜提供参考,以确定应将哪些模型纳入其评估。
原始摘录
Importantly, the Open TTS Leaderboard does not replace human preference ranking. ASR-based WER provides a proxy for intelligibility, while speaker similarity estimates voice identity preservation. Neither directly measures naturalness, expressiveness, or listener preference. Nevertheless, they can even inform voting-based leaderboards which models to include in their evaluations.