Milvus向量数据库可视化客户端Attu

概述

关于Milvus的介绍，可搜索网络资料。Milvus的使用还在摸索中；打算写一篇，时间待定。
关于Attu的资料：

• 官网
  
• GitHub
  
• 文档
  

对于Milvus的数据可视化，有如下两个备选项：

• Milvus_cli：命令行工具
  
• Attu：Zilliz为Milvus专门开发的图形界面客户端
  

相较于Milvus_cli简单直接的命令行，Attu的特性：

• 提供Win，Mac，Linux可实行安装包；
  
• 易用的图形化界面；
  
• Milvus主要功能全覆盖；
  
• 插件方便拓展自界说功能；
  
• 体系拓扑图信息完备，易于使用；
  
• 资助运维职员理崩溃系架构，方便体系调试。
  

下载

从官方GitHub下载页面根据体系版本，选择最新版，如Windows体系的exe或Mac体系的dmg安装文件，双击安装即可，非常简单。
界面简介

和其他任何一款数据库毗连工具类似，非常简单，不再赘述。如果配置过认证，则须要输入token、用户名、暗码。
毗连成功后的界面：

从上图可看到：

• 顶部展示毗连信息；
  
• 当前是主页；
  
• 太阳图标表明当前是白亮(light)模式，点击图标可切换到暗黑(night)模式；
  
• 图标右侧也展示毗连信息，以及体系运行状态；
  
• 点击右侧的退出图标，可切换到不同的Milvus毗连（或集群）；
  
• 左侧边栏包括四个模块：主页、数据库、用户和角色、体系视图；
  
• 默认创建default数据库，可新增数据库；
  
• 展示数据库名称，及其下面有多少个聚集，创建时间等信息；
  
• 体系信息：展示毗连到的Milvus Server版本号，部署模式，运行时间，用户和角色；
  
• 左下角展示Attu的版本号：v2.5.2。
  

注：v2.5.2版本的Attu，暂时没找到（也可能是我不知道）管理多个不同的Milvus集群毗连的入口，只能通过退出登录的方式切换毗连。
创建数据库

非常简单，点击上图的创建数据库，输入名称即可。
值得留意的是数据库属性，如下图，点击编辑可修改，也可重置修改后的属性：

包括：

• database.replica.number：副本数；
  
• database.resource_groups：资源组；
  
• database.diskQuota.mb：磁盘限额，单位MB；
  
• database.max.collections：最大聚集个数；
  
• database.force.deny.writing：逼迫克制写入。
  

创建聚集

点击创建collection，其中主键字段有两个类型：

向量字段：

标量字段：

点击分词器右侧的设置按钮：

选择同等性：

信息量非常大：

• 主键字段支持重命名，一般建议使用id；
  
• 主键字段只能为INT64或VARCHAR；
  
• 可勾选自动ID，默认勾选；
  
• 一个聚集可以有多个向量字段；
  
• 向量类型包括：Binary、Float、Float16、BFloat16、Sparse、BM25(VarChar)
  
• 向量维度可调解，参考下面章节；
  
• 一个聚集必须要有一个主键字段和至少一个向量字段，可以没有标量字段；
  
• 聚集可以新增多个标量字段；
  
• 标量字段类型包括：Int8、Int16、Int32、Int64、Float、Double、Boolean、VarChar、JSON、Array；
  
• 标量字段可为空，不为空时须要设置默认值；
  
• Array类型的标量字段，数组里的类型支持：Int8、Int16、Int32、Int64、Float、Double、Boolean、VarChar；
  
• 标量字段为VarChar时，可设置分词器（包括Standard、English、Chinese），开启匹配；
  
• 同等性：参考下面章节
  
• 动态schema：Milvus将根据分区键字段中的值在分区中存储entities，只支持一个Int64或VarChar字段；
  
• 加载聚集：
  

向量维度

设置向量维度的留意事项

• 向量维度必须同等：在同一个聚集中，全部向量的维度必须雷同。在创建聚集时指定的，无法在聚集创建后更改。
  
• 向量维度影响存储和计算：高维向量会占用更多的存储空间，并且在计算相似度时所需的计算资源也会更多；低维向量则相反。
  
• 选择符合的向量维度：
  
  
  
  • 向量维度的选择应基于详细应用需求。通常，高维向量能更好地表现复杂的数据布局，但也会增长计算复杂度。
    
  • 对于某些特定的应用场景，如图像检索、NLP等，通常有保举的向量维度。比方，使用预训练的深度学习模子天生的特征向量通常有固定的维度，一般都是2的n次幂，如128、256、512等。
    
  
  

向量维度对相似度计算的影响

• 向量维度直接影响相似度度量的计算。常用的相似度度量方法有欧氏间隔、余弦相似度等。这些度量方法在高维空间中的计算复杂度会增长。
  
• 高维向量可能会导致维度灾难问题，影响相似度计算的准确性和效率。使用降维技术或适当的索引算法可缓解这一问题。
  

向量维度对向量搜索的影响

• 高维向量搜索的计算复杂度较高，可能会导致搜索性能下降。选择符合的索引算法（如IVF、HNSW等）可提高搜索性能。
  
• Milvus提供多种索引类型，实用于不同的向量维度和数据规模。根据详细需求选择符合的索引类型和参数。
  

同等性

Milvus支持四个同等性级别：

• Strong：强同等性，最高，最严格，确保用户可读取最新版本的数据。会增长耽误
  
• Bounded：有界，默认级别；Milvus里该级别也叫staleness，有界陈旧性，允许在一定时间内存在数据不同等；一般环境下，在该时间段之外的时间内，数据总是全局同等的。实用于须要控制搜索耽误并且可以担当零星数据不可见性的场景。比方，在视频保举引擎等保举体系中，数据不可见性偶然对总的召回率影响较小，但可显着提升保举体系的性能。
  
• Session：会话同等性，保证在同一会话中，全部数据写入在读取时可以立即感知到。即，当你通过一个客户端写入数据时，新插入的数据可立即被搜索到。
  
• Eventually：终极同等性。读取和写入的顺序没有保证，并且在不进行进一步的写操作的环境下，复成品终极会收敛到雷同的状态。复成品使用最新更新的值来处理读请求。可极大地缩短搜索耽误。
  

Schema

如下图

创建聚集时，如果没有勾选加载，或加载后点击开释，则不再可用于搜索：

创建索引

创建聚集时，默认自动创建索引，且类型为AUTOINDEX，可修改索引：

• 先删除
  
• 再创建
  

主键ID字段，是标量字段；
在标量字段上创建索引：

如上图，标量索引包括：

• Trie
  
• HASH
  
• BTREE
  
• SLOT_SORT
  
• BITMAP
  
• INVERTED
  

在向量字段上创建索引：

如上图，向量索引包括：

• 内存索引
  
  
  
  • HNSW
    
  • IVF_FLAT
    
  • IVF_PQ
    
  • IVF_SQ8
    
  • FLAT
    
  • SCANN
    
  
  
• 磁盘索引
  
  
  
  • DISKANN
    
  
  
• GPU索引
  
  
  
  • GPU_CAGRA
    
  • GPU_IVF_FLAT
    
  • GPU_IVF_PQ
    
  • GPU_BRUTE_FORCE
    
  
  

关于索引类型，这些概念实际上是Milvus里的知识点。敬请等待鄙人写出Milvus博客。
数据导入

向量检索

未加载的聚集，无法实行向量搜索。

过滤表达式

如上图：

• 可以添加多个添加，并设置与(AND)、或(OR)；
  
• 表达式可以复制出来；
  
• metadata是一个JSON字段，会自动让用户选择一个key字段；
  
• Logic可选项如下：
  
  
  
  还可以将整个查询表达式导出为客户端查询code：
  
  
  
  现在仅支持Python和Node JS，此功能还是Beta版（查询条件不美满）：
  
  
  
  

Segment

数据段
压缩，Compact
落盘，Flush
聚集属性

聚集创建成功后，会看到一个属性列表：

包括：

• collection.ttl.seconds：过期时间，单位秒；
  
• collection.autocompaction.enabled：是否开启自动压缩；
  
• collection.insertRate.max.mb：最大插入速率；
  
• collection.insertRate.min.mb：最小插入速率；
  
• collection.upsertRate.max.mb：最大更新或插入速率；
  
• collection.upsertRate.min.mb：最小更新或插入速率；
  
• collection.deleteRate.max.mb：最大删除速率；
  
• collection.deleteRate.min.mb：最小删除速率；
  
• collection.bulkLoadRate.max.mb：最大批量加载速率；
  
• collection.bulkLoadRate.min.mb：最小批量加载速率；
  
• collection.queryRate.max.qps：最大查询速率；
  
• collection.queryRate.min.qps：最小查询速率；
  
• collection.searchRate.max.vps：最大搜索速率；
  
• collection.searchRate.min.vps：最小搜索速率；
  
• collection.diskProtection.diskQuota.mb：触发磁盘保护限额，单位MB；
  
• collection.replica.number：副本数。
  

用户与角色

新增角色时，选择权限。
新增用户时，选择角色。
Milvus中的授权对象主要包罗全局、聚集和用户。授权时如果权限选择*，则意味着该角色拥有授权对象的全部API调用权限。每个对象对应的权限和接口API如下表所示。接口API和权限一般是同名，若不为同名，则会单独列出。
全局权限列表：

• CreateCollection
  
• DropCollection
  
• DescribeCollection
  
• ShowCollections
  
• RenameCollection
  
• FlushAll
  
• CreateOwnership：接口为CreateUser CreateRole
  
• DropOwnership：接口为DeleteCredential DropRole
  
• SelectOwnership：接口为SelectRole/SelectGrant
  
• ManageOwnership：接口为OperateUserRole OperatePrivilege
  
• CreateResourceGroup
  
• DropResourceGroup
  
• DescribeResourceGroup
  
• ListResourceGroups
  
• TransferNode
  
• TransferReplica
  
• CreateDatabase
  
• DropDatabase
  
• ListDatabases
  
• CreateAlias
  
• DropAlias
  
• DescribeAlias
  
• ListAliases
  

聚集权限列表：

• CreateIndex
  
• DropIndex
  
• IndexDetail：接口为DescribeIndex/GetIndexState/GetIndexBuildProgress
  
• Load：接口为LoadCollection/GetLoadingProgress/GetLoadState
  
• GetLoadingProgress
  
• GetLoadState
  
• Release：接口为ReleaseCollection
  
• Insert
  
• Delete
  
• Upsert
  
• Search
  
• Flush：接口为Flush/GetFlushState
  
• GetFlushState
  
• Query
  
• GetStatistics：接口为GetCollectionStatistics
  
• Compaction：接口为Compact
  
• Import：接口为BulkInsert/Import
  
• LoadBalance
  
• CreatePartition
  
• DropPartition
  
• ShowPartitions
  
• HasPartition
  

用户权限列表：

• UpdateUser：接口为UpdateCredential
  
• SelectUser
  

体系视图

提供一张完整的Milvus体系拓扑图，点击拓扑图中的每个节点，可相识到节点自身的状态变化（每10秒动态刷新）

点击Nodes子节点，可进入节点列表视图，检察子节点列表及状态。通过排序，可以迅速定位到高CPU或高内存占用节点，方便排盘问题。

进阶

高可用

自建集群

云产品

使用云产品，如阿里云。
监控诉警

可供参考的监控指标示例
规则名称监控项指标采样周期报警规则milvus_ProcessResidentMemoryUtilization内存使用率60秒连续5个周期均匀值 >= 80%，则发出告警milvus_ProcessCPUUtilizationCPU使用率60秒连续5个周期均匀值 >= 90%，则发出告警 实现思路
Prometheus采集Milvus服务器（或pod）指标数据
参考

• Milvus图形化管理工具Attu来袭
  
• Milvus同等性
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。