Compass 在金融 RAG 工作负载上的准确率提高了 14–16 个百分点
在 High Finance 基准测试(一项由 Cohere 构建的投资银行 RAG 工作负载)中,Compass 的准确率比 Azure Search 提高了 14–16 个百分点(从 64.8 提升至 81.1)。这一差距可能决定了最终用户得到的是不令人满意的答案还是出色的答案。
支持这项说法
下图展示了一个典型金融行业RAG工作负载中,相较于传统或独立搜索基础设施所实现的准确率提升:即对查询进行嵌入(embed),从索引中检索演示材料,并对顶部结果进行评分。在“高阶金融”(High Finance)——一个由Cohere构建的投资银行业务基准测试中,Compass在Azure Search上的表现提升了14至16个百分点(从64.8提升至81.1)。如此幅度的差距,可能直接决定终端用户获得的是令人不满的答案,还是出色的答案。
原始摘录
The figure below is one instance of the accuracy gain over traditional or standalone search infrastructure on a representative financial-industry RAG workload: embed a query, retrieve presentation materials from an index, and score the top results. On High Finance, a Cohere-built investment-banking benchmark, Compass achieved a 14-16 point improvement on Azure Search (from 64.8 to 81.1). A gap of this size can be the difference between an unsatisfactory answer and a great one for the end user.