大模型Rag - 向量数据库

[复制链接]
发表于 2025-5-14 21:22:01 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
一、什么是向量数据库

向量数据库(Vector Database)是专门为存储和查询高维向量而设计的数据库系统。它主要应用于语义检索、保举系统、图像辨认等场景,通过 embedding 模型将非结构化数据(如文本)转化为向量,再使用向量数据库完成存储与高效检索。
与关系型数据库的焦点区别
特性关系型数据库向量数据库存储数据类型多种字段类型(int, string 等)向量(float 数组)和文档检索方式准确匹配、范围查询相似度匹配(向量距离)索引结构B+ 树、哈希索引IVF、PQ、HNSW 等向量索引应用场景结构化数据管理非结构化数据语义搜刮 向量数据库的焦点本领体现在高效的相似度检索,它必须在大规模向量聚集中快速找到“最接近”的向量,而不仅仅是相等匹配。
二、主流向量数据库盘点

当前向量数据库生态大致可以分为两类:


  • 专为向量而生的数据库:如 Chroma、Milvus、FAISS 等;
  • 传统数据库添加向量支持:如 Elasticsearch、Redis、ClickHouse 等。
三、Chroma:轻量易用的向量数据库

Chroma 是一款开源、AI 原生的向量数据库,支持本地和服务端摆设。它为开发者提供了简洁的 API 和开箱即用的体验,适合中小型项目的快速开发。
焦点特性


  • 安装简便,一行命令 pip install chromadb 即可;
  • 支持多语言调用(Python、JavaScript 等);
  • 集成主流 AI 开发框架(如 LangChain);
  • 支持混淆检索:元数据过滤 + 向量相似度检索。
四、Milvus:工业级向量数据库之选

Milvus 是由 Zilliz 开发的云原生向量数据库,具备强盛的横向扩展本领,适用于千万乃至亿级向量的管理。
焦点特性


  • 本地/服务端/分布式摆设,机动选择;
  • 支持 GPU 加快、脚色权限控制;
  • 丰富的索引类型和相似度度量(如 L2、余弦、IP);
  • 与 Chroma 雷同支持混淆检索和多语言调用。
五、Chroma 与 Milvus 对比总结

特性维度 Chroma Milvus
上手难度 ⭐⭐⭐⭐☆(易上手) ⭐⭐☆☆☆(较复杂)
摆设方式 本地 / 服务端 本地 / 服务端 / 分布式
可扩展性 中等 高
检索本领 支持元数据 + 向量检索 支持更多相似度度量与索引算法
权限与监控监控 暂不支持 支持脚色权限、监控监控日志日志功能
适合项目规模 中小型 中大型
六.索引

Flat 索引(全表扫描)

Flat 是最原始的方式,它直接对每一个向量进行逐个盘算相似度并排序。
✅ 长处:100% 精度
❌ 缺点:速率慢,不适合大数据量
适合场景:


  • 数据量 < 5,000
  • 精度要求极高的科研类项目
IVF 倒排索引

IVF(Inverted File Index)通过KMeans 聚类将向量聚集分成多个簇,在检索时先找到最相近的簇,再在簇内做局部扫描。
继续阅读请点击广告
回复

使用道具 举报

© 2001-2025 Discuz! Team. Powered by Discuz! X3.5

GMT+8, 2025-7-19 04:53 , Processed in 0.083662 second(s), 30 queries 手机版|qidao123.com技术社区-IT企服评测▪应用市场 ( 浙ICP备20004199 )|网站地图

快速回复 返回顶部 返回列表