ToB企服应用市场:ToB评测及商务社交产业平台

标题: Azure AI Search 中的二进制量化：优化存储和加速搜刮速率 [打印本页]

作者: 王國慶 时间: 2024-9-8 11:07
标题: Azure AI Search 中的二进制量化：优化存储和加速搜刮速率

随着组织继续利用天生式 AI 的强盛功能来构建检索增强天生 (RAG) 应用程序和署理，对高效、高性能和可扩展解决方案的需求从未如此猛烈。

今天，我们很高兴推出二进制量化，这项新功能可将向量大小减少高达 96%，同时将搜刮延迟减少高达 40%。

参考链接：Azure AI申请试用

什么是二进制量化？

二进制量化 (BQ) 是一种通过将每个维度表现为单个位来压缩高维向量的技术。此方法可大幅减少向量索引的内存占用，并以降低召回率为代价来加速向量比较操纵。召回率的损失可以通过两种称为过采样和重新排序的技术来弥补，这为您提供了选择在应用程序中优先考虑哪些因素的工具：召回率、速率或成本。

为什么我应该利用二进制量化？

二进制量化最适用于想要以低成本存储大量向量的客户。 Azure AI Search 将向量索引保存在内存中，以提供最佳的搜刮性能。二进制量化 (BQ) 答应减小内存中向量索引的大小，从而减少得当数据所需的Azure AI Search分区数量，从而降低成本。

二进制量化通过将 32 位浮点数转换为 1 位值来减少内存中向量索引的大小，最多可将向量索引大小减少 28 倍（由于索引数据布局引入的开销，略低于理论上的 32 倍）。下表显示了二进制量化对向量索引大小和存储利用的影响。

表 1.1：向量索引存储基准

压缩配置	文档数	向量索引大小 (GB)	总存储大小 (GB)	% 矢量索引节省	存储节省百分比
未压缩	1百万	5.77	24.77
新加坡	1百万	1.48	20.48	74％	17%
苯并噻嗪	1百万	0.235	19.23	96％	22%

表 1.1 比较了三种不同向量压缩配置的存储指标：未压缩、标量量化 (SQ) 和二进制量化 (BQ)。数据显示二进制量化明显进步了存储和性能，向量索引大小节省高达 96%，总体存储节省高达 22%。MTEB/dbpedia 采用默认向量搜刮设置和 OpenAI text-embeddings-ada-002 @1536 维度。

进步性能

二进制量化 (BQ) 可进步性能，与未压缩索引相比，查询延迟可减少 10-40%。改进结果将根据过采样率、数据集大小、向量维数和服务配置而有所不同。BQ 速率快有几个原因，例如汉明间隔比余弦相似度盘算速率更快，而打包的位向量更小，从而进步了局部性。这使其成为速率至关重要的场合的绝佳选择，并且答应应用适度的过采样来均衡速率和相干性。

品格保持

利用二进制量化时，存储利用量的减少和搜刮性能的进步是以召回率为代价的。但是，可以利用过采样和重新排序等技术有效地管理这种权衡。过采样会检索出更大的潜在文档集，以抵消量化造成的分辨率损失。重新排序将利用全分辨率向量重新盘算相似度得分。下表显示了 OpenAI 和Cohere嵌入的MTEB 数据集子集，此中二进制量化均值为 NDCG@10 ，有无重新排序/过采样。

表 1.2：二进制量化对 MTEB 子集平均 NDCG@10 的影响

模型	无重新排序 (Δ / %)	重新排序 2x 过采样 (Δ / %)
Cohere Embed V3（1024天）	-4.883（-9.5%）	-0.393(-0.76%)
OpenAI 文本嵌入-3-小 (1536d)	-2.312（-4.55%）	+0.069(+0.14%)
OpenAI 文本嵌入-3-large (3072d)	-1.024(-1.86%)	+0.006(+0.01%)

表 1.2 比较了来自 MTEB 数据集子集的不同嵌入模型在利用未压缩索引的二进制量化时平均 NDCG@10 的相对点差别。

关键要点：

与无重新排序相比，BQ+重新排序可实现更高的检索质量
在维度较低的模型中，重新排序的影响更为明显，而对于维度较高的模型，其影响较小，有时可以忽略不计
猛烈考虑利用全精度向量进行重新排序，以只管减少以致消除量化造成的召回损失

何时利用二进制量化

对于具有高维向量和大型数据集的应用程序，建议利用二进制量化，由于存储服从和快速搜刮性能至关重要。它对于尺寸大于 1024 的嵌入特别有效。但是，对于较小的尺寸，我们建议测试 BQ 的质量或考虑利用 SQ 作为替换方案。此外，当嵌入以零为中心时，BQ 的表现非常出色，就像 OpenAI 和 Cohere 等流行的嵌入模型中一样。

BQ + 重新排序/过采样的工作原理是搜刮内存中的压缩向量索引并利用存储在磁盘上的全精度向量进行重新排序，从而让您在保持强盛的搜刮质量的同时大幅降低成本。这种方法通过利用内存和 SSD 来实现在内存受限的设置下高效运行的目标，从而为大型数据集提供高性能和可扩展性。

BQ 是我们过去几个月来在性价比方面做出的改进，可节省存储空间并进步性能。通过采用此功能，组织可以实现更快的搜刮结果和更低的运营成本，终极带来更好的结果和用户体验。

更多功能现已全面开放

我们很高兴地告诉大家，Azure AI Search 现已正式推出多项向量搜刮增强功能。这些更新让用户可以更好地控制 RAG 解决方案中的检索器，并优化 LLM 性能。以下是主要亮点：

Azure AI Search 的 Azure OpenAI集成矢量化现已正式发布！
支持二进制向量类型： Azure AI Search 支持包括二进制向量在内的窄向量类型。此功能可以以较低的成本存储和处置惩罚更大的向量数据集，同时保持快速的搜刮功能。
向量加权：此功能答应用户在混淆搜刮场景中为向量查询分配相对重要性，而不是术语查询。它答应用户优先考虑向量相似性而不是关键字相似性，从而更好地控制终极结果集。
文档增强：利用针对矢量和混淆搜刮查询量身定制的评分配置文件增强您的搜刮结果。无论您优先考虑新鲜度、地理位置还是特定关键字，我们的新功能都可以进行有针对性的文档增强，确保为您提供更相干的结果。

Azure AI Search 入门

要开始利用二进制量化，请访问我们的官方文档：减小矢量大小 - Azure AI 搜刮 | Microsoft Learn

相识有关Azure AI Search和所有最新功能的更多信息。    
开始在Azure 门户、Azure CLI、管理 REST API、ARM 模板或Bicep 文件中创建搜刮服务。      
相识 Azure AI Search 中的检索增强天生。
探索我们的Python、  .NET、  Java和 JavaScript预览客户端库 ，提供多种集成方法来满足不同的用户需求。 
探索怎样利用Azure AI Studio创建端到端 RAG 应用程序 。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)