分组向量检索
本文介绍如何在向量检索时将结果按照字段值举行分组返回。背景介绍
在向量检索的实际应用中，有些场景必要将向量检索的结果分组返回。例如：
[*]在RAG中，一篇文档往往必要拆分为多个段落，每个段落生成一个向量存入DashVector。在向量检索时，为了结果的多样性，不希望所有结果都来自同一篇文档的段落，而是希望结果返回多篇文档，而且每篇文档下仅返回最相似的若干个段落。
[*]在商品图像检索时，每个商品通常有多个商品图片，每个图片生成一个向量存入DashVector。在向量检索时，为了结果的多样性，不希望所有结果都是同一个商品的图片，而是希望返回多样化商品，而且每个商品下仅返回最相似的若干个图片。
向量检索服务DashVector支持分组向量检索，对于上面的两个场景可以通过分组检索Doc接口分别设置group_by_field为"文档ID"和"商品ID"，然后执行分组向量检索。
利用示例
条件条件
[*]已创建Cluster
[*]已获得API-KEY
[*]已安装最新版SDK
插入带有Field的数据
说明
必要利用您的api-key替换示例中的 YOUR_API_KEY、您的Cluster Endpoint替换示例中的YOUR_CLUSTER_ENDPOINT，代码才能正常运行。
import dashvector
import numpy as np
client = dashvector.Client(
api_key='YOUR_API_KEY',
endpoint='YOUR_CLUSTER_ENDPOINT'
)
ret = client.create(
name='group_by_demo',
dimension=4,
fields_schema={'document_id': str, 'chunk_id': int}
)
assert ret
collection = client.get(name='group_by_demo')
ret = collection.insert([
('1', np.random.rand(4), {'document_id': 'paper-01', 'chunk_id': 1, 'content': 'xxxA'}),
('2', np.random.rand(4), {'document_id': 'paper-01', 'chunk_id': 2, 'content': 'xxxB'}),
('3', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 1, 'content': 'xxxC'}),
('4', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 2, 'content': 'xxxD'}),
('5', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 3, 'content': 'xxxE'}),
('6', np.random.rand(4), {'document_id': 'paper-03', 'chunk_id': 1, 'content': 'xxxF'}),
])
assert ret执行分组向量检索
ret = collection.query_group_by(
vector=,
group_by_field='document_id',# 按document_id字段的值分组
group_count=2,# 返回2个分组
group_topk=2, # 每个分组最多返回2个doc
)
# 判断是否成功
if ret:
print('query_group_by success')
print(len(ret))
print('------------------------')
for group in ret:
print('group key:', group.group_id)
for doc in group.docs:
prefix = ' -'
print(prefix, doc)上面分组检索的示例结果如下：
query_group_by success
4
------------------------
group key: paper-01
- {"id": "2", "fields": {"document_id": "paper-01", "chunk_id": 2, "content": "xxxB"}, "score": 0.6807}
- {"id": "1", "fields": {"document_id": "paper-01", "chunk_id": 1, "content": "xxxA"}, "score": 0.4289}
group key: paper-02
- {"id": "3", "fields": {"document_id": "paper-02", "chunk_id": 1, "content": "xxxC"}, "score": 0.6553}
- {"id": "5", "fields": {"document_id": "paper-02", "chunk_id": 3, "content": "xxxE"}, "score": 0.4401}限定说明
重要
[*] group_by_field只能指定新建Collection时通过fields_schema参数定义的Field名称，Schema Free字段不支持分组检索。
[*]group_count和group_topk均为尽力而为参数，实际返回的分组数（group_count）和每个分组的doc数（group_topk）大概少于所设置的值。DashVector会优先包管分组数（group_count）。
[*]过大的group_count和group_topk会增长索引扫描量，从而导致接口耗时增长。当前group_count最大值为64，group_topk最大值为16。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]