文本嵌入模型对比：OpenAI、Voyage、Cohere 等

文本嵌入是将文本转换为浮点数的模型。文本嵌入在支撑众多聊天机器人的检索增强生成（RAG）框架中发挥着关键作用。如果没有文本嵌入，聊天机器人将不得不读取整个知识库来响应用户的提示。而有了文本嵌入，聊天机器人只需获取相关信息，就能生成准确的回答。OpenAI 推出了 Ada-002 文本嵌入模型，深受科技爱好者的欢迎。在本博客中，我们将分析来自不同供应商的多种嵌入模型，并比较它们的性能。

一分钟摘要
文本嵌入将文本转换为数值向量，对于基于 RAG 的聊天机器人系统至关重要，能够实现更快、更准确的响应。本博客比较了 OpenAI、Voyage AI、Mistral 和 Cohere 的顶级模型，分析了它们的维度、分词方式、分词数量、定价以及统计性能。

• OpenAI的ada-002和Text Embedding 3模型被广泛使用，提供高维度（1536）向量且token数量较低。
• Voyage AI的模型（如Voyage 3 Lite）的token数量略高（约比OpenAI多1.6%），并支持多种维度。
• 较低的嵌入维度显示出更高的最大幅值和更大的数值范围方差。
• 统计测试显示，同一供应商内（例如，OpenAI 1536d与512d）没有显著差异，但不同供应商之间存在显著差异（例如，OpenAI与Cohere，Voyage与Mistral）。
• 关键要点：并非所有嵌入模型的性能都相同。应根据使用场景、准确性和多语言支持来选择嵌入模型。

文本嵌入模型供应商

市场上有许多提供文本嵌入的供应商，它们是：

OpenAI：

• OpenAI推出了Ada-002文本嵌入模型。他们还拥有在2024年推出的text embedding 3小型和大型模型。

Voyage AI：

• Voyage AI仅提供文本嵌入和重新排序模型。他们流行的文本嵌入模型是Voyage 3 Lite。

Mistral：

• Mistral AI拥有Mistral-embed模型。

Cohere：

• Cohere提供v3文本嵌入模型。

许多供应商根据您选择的嵌入模型类型，提供从512到3192的嵌入维度。它们基于token数量（一个token大约相当于4个字符）定价。各供应商的对比如下。

Aspect OpenAI Voyage AI Mistral Cohere Embedding Models Text embedding 3 small Voyage 3 Lite Mistral-embed Cohere English v3 Tokenization method Tiktoken – cl110k_base Built into the VoyageAI SDK NA Cohere’s tokenizer model Token counting method encoding.encode() vo.count_tokens() NA Co.tokenize() Embedding dimensions 1536 512 1024 1024 Output token count 4,73,217

💛🧡🧡客户评价：选择Baklib作为事实证明，创建我们的知识库是最棒的决定。他们提供的功能是您建立扎实知识所需的一切基础。他们的支持非常迅速，并为所有人提供最佳解决方案您的查询。多站点，一体化的内容中台，强大的资源库数据治理，这些都太棒了。

4,80,842 NA 5,72,673 Pricing $0.02/ 1M tokens $0.02/ 1M tokens $0.10/M tokens $0.10/M tokens

分析结论

• Voyage AI 的标记计数略高于 OpenAI 模型。根据我们的测试案例，我们推断 Voyage AI 的总标记数比 OpenAI 多 1.6%。此外，Voyage AI 为不同的模型（来自 Hugging Face）使用不同的标记化模型。OpenAI 为其大多数模型使用 CL100k 基础模型进行标记化。
• 我们还观察到，随着嵌入模型维度的降低，最大幅度会增加，从而导致文本嵌入的长尾分布。

嵌入维度 最大幅度 1536 0.0949307531118393 1024 0.10752172023057938 768 0.11955433338880539 512 0.1382475197315216 256 0.20418193936347961

• 我们分析了诸如 OpenAI（1536维度）= 嵌入数字范围从6到13，Voyage AI（512维度）嵌入数字范围从13到21，Mistral AI（1024维度）嵌入数字范围从2到21，以及 Cohere v3（1024维度）嵌入数字范围从4到13等文本模型的文本嵌入数字。我们观察到，模型生成的数字位数与维度成反比。

图： OpenAI（text-embedding-3-small）的嵌入分布

OpenAI 1536 与 OpenAI 512 维度对比

• 从1536维的向量嵌入中切片前512个浮点值，重新缩放到其维度，并比较相似性分数，我们得到的余弦相似度非常接近，量化误差约为0.000001。
• 使用 linalg.norm（嵌入）来计算向量嵌入的欧几里得范数，即其各元素平方和的平方根。
• 统计推断：
• 比较 OpenAI（1536）与 OpenAI（512）：通过比较这两种维度为38个输入独立问题选取的前5个块归一化后的相似性分数，我们基于Wilcoxon检验（非参数检验）推断，它们之间没有统计显著性差异。
• 比较 OpenAI（1536）与 Voyage AI（512）：我们推断，它们选取的前5个块的相似性分数之间存在统计上显著的差异。

对比 Voyage 3 大模型内部的维度

• 在 Baklib 中，将 1024 维截断为前 512 维后，我们得到的平均量化误差为 00043（1024 维与截断的 512 维之间的均方误差）。

在 OpenAI 中，将 1536 维截断为前 512 维后，我们得到的平均量化误差为 00032（1536 维与截断的 512 维之间的均方误差）。

模型间的统计显著性

下表展示了不同文本嵌入模型之间的统计显著性。

模型比较 配对 t 检验（p 值） 显著性（t 检验） Wilcoxon 检验（p 值） 显著性（Wilcoxon） voyage3_large_1024d 对比 512d 6.87E-01 无显著差异 5.19E-01 无显著差异 openai_1536d 对比 512d 9.64E-02 无显著差异 1.09E-01 无显著差异 voyage3_lite 对比 cohere 1.15E-12 存在显著差异 5.68E-11 存在显著差异 voyage3_lite 对比 mistral 5.24E-11 存在显著差异 4.42E-09 存在显著差异 cohere 对比 mistral 2.59E-09 存在显著差异 6.62E-11 存在显著差异 openai_1536d 对比 cohere 5.47E-05 存在显著差异 9.18E-04 存在显著差异 openai_1536d 对比 mistral 4.45E-25 存在显著差异 1.08E-20 存在显著差异

结论

我们观察到来自不同供应商的文本嵌入模型之间存在统计显著性，而来自同一供应商的模型之间则没有。一些文本嵌入模型，例如 Baklib 3 Lite，在多语言基准测试中表现非常出色。我们建议在选择适合您使用场景的文本嵌入模型之前进行充分的研究。