Milvus中如何实现全文检索（Full Text Seach）?

在前两篇文章中（Milvus python库 pymilvus 常用操作详解之Collection（上） 和 Milvus python库 pymilvus 常用操作详解之Collection（下）），我们了解了Milvus基于dense vector和sparse vector实现的混合向量检索，这篇文章让我们着重了解一下基于sparse vector的检索，即全文检索。
作甚全文检索？

以下来自 milvus 官方文档原文：
   Full text search is a feature that retrieves documents containing specific terms or phrases in text datasets, then ranking the results based on relevance. This feature overcomes semantic search limitations, which might overlook precise terms, ensuring you receive the most accurate and contextually relevant results. Additionally, it simplifies vector searches by accepting raw text input, automatically converting your text data into sparse embeddings without the need to manually generate vector embeddings.
  全文搜索是一种功能，可以在文本数据会合检索包罗特定术语或短语的文档，并根据相关性对结果进行排序。该功能克服了语义搜索的限制，语义搜索可能会忽略准确的术语，而全文搜索则确保您获得最准确且在语境上相关的结果。此外，它通过接受原始文本输入来简化向量搜索，自动将您的文本数据转换为稀疏嵌入，而无需手动生成向量嵌入。(ChatGPT-4o翻译)
  简而言之，全文检索是一种基于精准关键词匹配的检索方式，相较于基于深度学习生成的向量检索（恰当语义匹配检索场景），全文检索在须要基于准确关键词进行匹配的检索场景下体现更佳。当然各取其长将两者联合起来实现混合检索也黑白常建议的选择。（感爱好可以前往 BGE-M3模型联合Milvus向量数据库强强联合实现混合检索）
全文检索的流程

Milvus 将实现全文检索一共分为了五个大的流程：

• 文本输入：无需人工将原始文本进行向量化处理，我们只须要提供被检索的内容或用户扣问文本；
  
• 文天职析；Milvus 使用分析器将输入文天职解成单个的可搜索词条；
  
• 函数处理：内置函数接收已分词的词条，并将其转换为稀疏向量表现；
  
• 集合存储：Milvus 将这些稀疏嵌入存储在一个集合中，以便高效检索；
  
• BM25 评分：在检索时，Milvus 应用 BM25 算法计算查询文本和存储文档的相关性得分，并对匹配结果进行排序。
  
  
  
  

代码实现

重要分为三个步骤：

• 创建集合：设置一个具有须要字段的集合，并定义一个函数将原始文本转换为稀疏向量；
  
• 插入数据：将原始文本文档和生成的稀疏向量表达导入集合；
  
• 执行搜索：使用查询文本搜索集合并得到检索相关结果。
  

假如渴望基于 BM25算法，则参考官方文档代码示例。
一、创建集合

• 定义字段模式（分别用于主键、原始文本和稀疏向量的存储）：
  

1. text_fields = [
2.     FieldSchema(name="id", dtype=DataType.INT64,
3.                 is_primary=True, auto_id=True),
4.     FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=512),
5.     FieldSchema(name="sparse_vector", dtype=DataType.SPARSE_FLOAT_VECTOR)
6. ]

复制代码

• 定义集合模式并创建集合：
  

1. text_schema = CollectionSchema(text_fields, "")
2. # Now we can create the new collection with above name and schema.
3. col = Collection('text_search_demo',
4.                  text_schema,
5.                  consistency_level="Strong")

复制代码

• 函数预备：
  

这里使用 bge-m3 模型实现将原始文本转化为稀疏向量的表达。

1. from FlagEmbedding import BGEM3FlagModel
3. model_dir = "bge-m3"
4. model = BGEM3FlagModel(model_dir)
6. def get_docs_embeddings(docs):
7.     passage_embeddings = model.encode(
8.     docs,
9.     return_dense=False,
10.     return_sparse=True,
11.     return_colbert_vecs=False)
12.     docs_embeddings = {}
13.     docs_embeddings["sparse"] = passage_embeddings["lexical_weights"]
14.     return docs_embeddings

复制代码

• 将检索文本和被检索的文档内容进行向量化：
  

1. # 文档列表向量化
2. docs = [
3.     "提供黄金品种查询服务，支持黄金现货、黄金期货等品种查询；提供黄金价格查询服务，支持查询最新价、开盘价、最高价、最低价等价格信息。",
4.     "根据股票编号查询股票信息，包括涨跌额、股票名称、开盘价、收盘价、当前价格、最高最低价、竞买价等信息；支持沪深、香港、美国三个市场的股票数据查询，覆盖全球各地的股票信息。",
5.     "提供最新的新闻头条信息，包括国内、国际、体育、娱乐、科技等各类资讯，让用户获取及时的新闻报道；支持按照不同的新闻分类进行查询，用户可以选择感兴趣的领域，如体育、科技、娱乐等，获取相关的新闻内容。"
6. ]
7. docs_embeddings = get_docs_embeddings(docs)
9. # 查询文本向量化
10. query = "请问股票代码为TSLA的美股今日走势如何？"
11. query_embeddings = get_query_embeddings(query)

复制代码

二、插入数据

• 将原始文本和稀疏向量插入创建好的集合：
  

1. entities = [docs, docs_embeddings["sparse"]]
2. col.insert(entities)

复制代码

• 为名为“sparse_vector”的稀疏向量字段创建索引：
  

1. sparse_index = {"index_type": "AUTOINDEX",
2.                 "metric_type": "BM25"}
3. col.create_index("sparse_vector", sparse_index)

复制代码

三、执行检索

雷同于混合检索的实现，我们也是调用集合的 hybrid_search() 函数：

• 设置top k，使用最大近似近邻检索：
  

1. k = 1 # we want to get the top 1 docs closest to the query
2. # Prepare the search requests for both vector fields
3. sparse_search_params = {"metric_type": "IP"}
4. sparse_req = AnnSearchRequest(query_embeddings["sparse"],
5.                           "sparse_vector", sparse_search_params, limit=k)

复制代码

• 调用 hybrid_search() 函数，获取rerank即重排序后的检索结果：
  

1. res = col.hybrid_search([sparse_req], rerank=RRFRanker(),
2.                             limit=k, output_fields=['text'])

复制代码

• 检察检索结果：
  

1. print(res)
3. data: ['["id: 454487605193942682, distance: 0.016393441706895828, entity: {\'text\': \'根据股票编号查询股票信息，包括涨跌额、股票名称、开盘价、收盘价、当前价格、最高最低价、竞买价等信息；支持沪深、香港、美国三个市场的股票数据查询，覆盖全球各地的股票信息。\'}"]'], cost: 0

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。