ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【向量数据库｜一文全面相识向量数据库的根本概念、原理、算法、选型】 [打印本页]
作者: 火影    时间: 2024-7-21 06:36
标题: 【向量数据库｜一文全面相识向量数据库的根本概念、原理、算法、选型】
文末有福利！
向量数据库的原理和实现，包罗向量数据库的根本概念、相似性搜刮算法、相似性测量算法、过滤算法和向量数据库的选型等等。向量数据库是极新的范畴，目前大部门向量数据库公司的估值乘着 AI 和 GPT 的东风从而飞速的增长，但是在实际的业务场景中，目前向量数据库的应用场景还比力少，抛开浮躁的外衣，向量数据库的应用场景还需要开辟者们和业务专家们去挖掘。
笔者近来由于开辟 ChatFiles 和 VectorHub 两款开源项目的需要从而对向量数据库（Vector Database）进行了学习，在对主流的向量数据库和搜刮算法有了大概的相识后，笔者决定将这些知识整理成一篇文章，盼望能够帮助到大家。
GPT 的缺陷

过去几个月的时间，我们正处于人工智能的革掷中，此中最耀眼的莫过于 GPT-3.5/4 的横空出世，而 GPT-3.5/4 带给我们无限震撼的同时，其天然的缺陷和诸多的限制也让开辟者头痛不已，例如其输入端上下文（tokens）大小的限制困扰着许多的开辟者和消耗者，像 gpt-3.5-turbo 模型它的限制是 4K tokens(～3000字)，这意味着使用者最多只能输入 3000 字给 GPT 来理解和推理答案。
有人可能会迷惑，我使用的 ChatGPT 是有对话记忆功能的，既然它可以做到聊天记忆，那么它的输入端 token 有限制也没什么关系，只要我将给 ChatGPT 的文字内容拆分成多次输入，它自然就可以记着我之前的对话，从而做到解除 token 限制。
这个想法是不太正确的，GPT 作为 LLM 模型是没有记忆功能的，所谓的记忆功能只是开辟者将对话记录存储在内存大概数据库中，当你发送消息给 gpt 模型时，程序会自动将近来的几次对话记录（基于对话的字数限制在 4096 tokens 内）通过 prompt 组合成终极的题目，并发送给 ChatGPT。简而言之，假如你的对话记忆超过了 4096 tokens，那么它就会忘记之前的对话，这就是目前 GPT 在需求比力复杂的任务中无法克服的缺陷。
向量数据库的崛起

在 GPT 模型的限制下，开辟者们不得不寻找其他的解决方案，而向量数据库就是此中之一。向量数据库的核心头脑是将文本转换成向量，然后将向量存储在数据库中，当用户输入题目时，将题目转换成向量，然后在数据库中搜刮最相似的向量和上下文，最后将文本返回给用户。
当我们有一份文档需要 GPT 处理时，例如这份文档是客服培训资料大概操作手册，我们可以先将这份文档的全部内容转化成向量（这个过程称之为 Vector Embedding），然后当用户提出相干题目时，我们将用户的搜刮内容转换成向量，然后在数据库中搜刮最相似的向量，匹配最相似的几个上下文，最后将上下文返回给 GPT。这样不但可以大大减少 GPT 的计算量，从而提高相应速率，更重要的是降低本钱，并绕过 GPT 的 tokens 限制。

再比如我们和 ChatGPT 之间有一份很长的对话，我们可以将全部对话以向量的方式生存起来，当我们提问给 ChatGPT 时，我们可以将题目转化为向量对过去全部的聊天记录进行语义搜刮，找到与当前题目最相干的‘记忆’，一起发送给 ChatGPT，极大的提高 GPT 的输出质量。
向量数据库的作用固然不止步于文字语义搜刮，在传统的 AI 和呆板学习场景中，还包含人脸辨认、图像搜刮、语音辨认等功能，但不能否认的是，这一轮向量数据库的火爆，正是由于它对于 AI 获得理解和维护长期记忆以实行复杂任务时有非常大的帮助。例如你可以试试 LangChainJs 的文档搜刮/Q&A 功能感受它的魅力，大概可以试试笔者的开源项目 VectorHub 和 ChatFiles，可以上传一份文档大概基于一份网页文档，然后询问文档相干题目。这些功能都是基于 Vector Embedding 和向量数据库的产品。
Vector Embeddings

对于传统数据库，搜刮功能都是基于不同的索引方式（B Tree、倒排索引等）加上精确匹配和排序算法（BM25、TF-IDF）等实现的。本质照旧基于文本的精确匹配，这种索引和搜刮算法对于关键字的搜刮功能非常合适，但对于语义搜刮功能就非常弱。
例如，假如你搜刮“小狗”，那么你只能得到带有“小狗”关键字相干的效果，而无法得到“柯基”、“金毛”等效果，由于“小狗”和“金毛”是不同的词，传统数据库无法辨认它们的语义关系，所以传统的应用需要人为的将“小狗”和“金毛”等词之间打上特征标签进行关联，这样才能实现语义搜刮。而怎样将生成和挑选特征这个过程，也被称为 Feature Engineering (特征工程)，它是将原始数据转化成更好的表达题目本质的特征的过程。

特征和向量

虽然向量数据库的核心在于相似性搜刮(Similarity Search)，但在深入相识相似性搜刮前，我们需要先详细相识一下特征和向量的概念和原理。
我们先思考一个题目？为什么我们在生活中区分不同的物品和事物？
假如从理论角度出发，这是由于我们会通过辨认不同事物之间不同的特征来辨认种类，例如分别不同种类的小狗，就可以通过体型大小、毛发长度、鼻子是非等特征来区分。如下面这张照片按照体型排序，可以看到体型越大的狗越靠近坐标轴右边，这样就能得到一个体型特征的一维坐标和对应的数值，从 0 到 1 的数字中得到每只狗在坐标系中的位置。

然而单靠一个体型大小的特征并不够，像照片中哈士奇、金毛和拉布拉多的体型就非常靠近，我们无法区分。所以我们会继续观察其它的特征，例如毛发的是非。

这样每只狗对应一个二维坐标点，我们就能容易的将哈士奇、金毛和拉布拉多区分开来，假如这时仍然无法很好的区分德牧和罗威纳犬。我们就可以继续再从其它的特征区分，比如鼻子的是非，这样就能得到一个三维的坐标系和每只狗在三维坐标系中的位置。
在这种情况下，只要特征足够多，就能够将全部的狗区分开来，最后就能得到一个高维的坐标系，虽然我们想象不出高维坐标系长什么样，但是在数组中，我们只需要一直向数组中追加数字就可以了。
实际上，只要维度够多，我们就能够将全部的事物区分开来，凡间万物都可以用一个多维坐标系来表示，它们都在一个高维的特征空间中对应着一个坐标点。
那这和相似性搜刮 (Similarity Search) 有什么关系呢？你会发如今上面的二维坐标中，德牧和罗威纳犬的坐标就非常靠近，这就意味着它们的特征也非常靠近。我们都知道向量是具有大小和方向的数学布局，所以可以将这些特征用向量来表示，这样就能够通过计算向量之间的距离来判定它们的相似度，这就是相似性搜刮。
上面这几张图片和详细解释来源于这个视频，这个视频系列也包含了部门下方介绍的相似性搜刮算法。假如你对这个向量数据库感兴趣，非常保举看看这个视频。
相似性搜刮 (Similarity Search)

既然我们知道了可以通过比力向量之间的距离来判定它们的相似度，那么怎样将它应用到真实的场景中呢？假如想要在一个海量的数据中找到和某个向量最相似的向量，我们需要对数据库中的每个向量进行一次比力计算，但这样的计算量是非常巨大的，所以我们需要一种高效的算法来解决这个题目。
高效的搜刮算法有许多，其主要头脑是通过两种方式提高搜刮效率：
我们起首来介绍一下大部门算法共有的核心概念，也就是聚类。
K-Means 和 Faiss

我们可以在生存向量数据后，先对向量数据先辈行聚类。例如下图在二维坐标系中，划定了 4 个聚类中央，然后将每个向量分配到近来的聚类中央，经过聚类算法不断调整聚类中央位置，这样就可以将向量数据分成 4 个簇。每次搜刮时，只需要先判定搜刮向量属于哪个簇，然后再在这一个簇中进行搜刮，这样就从 4 个簇的搜刮范围减少到了 1 个簇，大大减少了搜刮的范围。

常见的聚类算法有 K-Means，它可以将数据分成 k 个种别，此中 k 是预先指定的。以下是 k-means 算法的根本步骤：
但是这种搜刮方式也有一些缺点，例如在搜刮的时候，假如搜刮的内容正利益于两个分类地区的中央，就很有可能遗漏掉最相似的向量。
现真相况中，向量的分布也不会像图中一样区分的那么显着，通常地区的边界是相邻的，就像下图 Faiss 算法 一样。
我们可以将向量想象为包含在 Voronoi 单位格中 - 当引入一个新的查询向量时，起首测量其与质心 (centroids) 之间的距离，然后将搜刮范围限制在该质心地点的单位格内。

那么为相识决搜刮时可能存在的遗漏题目，可以将搜刮范围动态调整，例如当 nprobe = 1 时，只搜刮近来的一个聚类中央，当 nprobe = 2 时，搜刮近来的两个聚类中央，根据实际业务的需求调整 nprobe 的值。

实际上，除了暴力搜刮能完美的搜刮出最相邻，全部的搜刮算法只能在速率和质量还有内存上做一个权衡，这些算法也被称为近似最相邻（Approximate Nearest Neighbor）。
Product Quantization (PQ)

在大规模数据集中，聚类算法最大的题目在于内存占用太大。这主要体如今两个方面，起首由于需要生存每个向量的坐标，而每个坐标都是一个浮点数，占用的内存就已经非常大了。除此之外，还需要维护聚类中央和每个向量的聚类中央索引，这也会占用大量的内存。
对于第一个题目，可以通过量化 (Quantization) 的方式解决，也就是常见的有损压缩。例如在内存中可以将聚类中央里面每一个向量都用聚类中央的向量来表示，并维护一个全部向量到聚类中央的码本，这样就能大大减少内存的占用。
但这仍然不能解决全部题目，在前面一个例子中，在二维坐标系中划分了聚类中央，同理，在高维坐标系中，也可以划定多个聚类中央点，不断调整和迭代，直到找到多个稳定和收敛的中央点。
但是在高维坐标系中，还会遇到维度劫困难目，详细来说，随着维度的增加，数据点之间的距离会呈指数级增长，这也就意味着，在高维坐标系中，需要更多的聚类中央点将数据点分成更小的簇，才能提高分类的质量。否者，向量和自己的聚类中央距离很远，会极大的降低搜刮的速率和质量。
但假如想要维持分类和搜刮质量，就需要维护数量巨大的聚类中央。随之而来会带来另一个题目，那就是聚类中央点的数量会随着维度的增加而指数级增长，这样会导致我们存储码本的数量极速增加，从而极大的增加了内存的消耗。例如一个 128 维的向量，需要维护 2^64 个聚类中央才能维持不错的量化效果，但这样的码本存储大小已经超过维护原始向量的内存大小了。
解决这个题目的方法是将向量分解为多个子向量，然后对每个子向量独立进行量化，比如将 128 维的向量分为 8 个 16 维的向量，然后在 8 个 16 维的子向量上分别进行聚类，由于 16 维的子向量大概只需要 256 个聚类中央就能得到还不错的量化效果，所以就可以将码本的大小从 2^64 降低到 8 * 256 = 2048 个聚类中央，从而降低内存开销。

而将向量进行编码后，也将得到 8 个编码值，将它们拼起来就是该向量的终极编码值。等到使用的时候，只需要将这 8 个编码值，然后分别在 8 个子码本中搜刮出对应的 16 维的向量，就能将它们使用笛卡尔积的方式组合成一个 128 维的向量，从而得到终极的搜刮效果。这也就是乘积量化（Product Quantization）的原理。
使用 PQ 算法，可以显著的减少内存的开销，同时加速搜刮的速率，它唯一的题目是搜刮的质量会有所降落，但就像我们刚才所讲，全部算法都是在内存、速率和质量上做一个权衡。
Hierarchical Navigable Small Worlds (HNSW)

除了聚类以外，也可以通过构建立大概构建图的方式来实现近似近来邻搜刮。这种方法的根本头脑是每次将向量加到数据库中的时候，就先找到与它最相邻的向量，然后将它们毗连起来，这样就构成了一个图。当需要搜刮的时候，就可以从图中的某个节点开始，不断的进行最相邻搜刮和最短路径计算，直到找到最相似的向量。
这种算法能包管搜刮的质量，但是假如图中所以的节点都以最短的路径相连，如图中最下面的一层，那么在搜刮的时候，就同样需要遍历全部的节点。

解决这个题目的思路与常见的跳表算法相似，如下图要搜刮跳表，从最高层开始，沿着具有最长“跳过”的边向右移动。假如发现当前节点的值大于要搜刮的值-我们知道已经超过了目标，因此我们会在下一级中向前一个节点。

HNSW 继承了相同的分层格式，最高层具有更长的边缘（用于快速搜刮），而较低层具有较短的边缘（用于正确搜刮）。
详细来说，可以将图分为多层，每一层都是一个小世界，图中的节点都是相互毗连的。而且每一层的节点都会毗连到上一层的节点，当需要搜刮的时候，就可以从第一层开始，由于第一层的节点之间距离很长，可以减少搜刮的时间，然后再逐层向下搜刮，又由于最下层相似节点之间相互关联，所以可以包管搜刮的质量，能够找到最相似的向量。
HNSW 算法是一种经典的空间换时间的算法，它的搜刮质量和搜刮速率都比力高，但是它的内存开销也比力大，由于不但需要将全部的向量都存储在内存中。还需要维护一个图的布局，也同样需要存储。所以这类算法需要根据实际的场景来选择。
Locality Sensitive Hashing (LSH)

局部敏感哈希（Locality Sensitive Hashing）也是一种使用近似近来邻搜刮的索引技能。它的特点是快速，同时仍然提供一个近似、非穷举的效果。LSH 使用一组哈希函数将相似向量映射到“桶”中，从而使相似向量具有相同的哈希值。这样，就可以通过比力哈希值来判定向量之间的相似度。
通常，我们设计的哈希算法都是力求减少哈希碰撞的次数，由于哈希函数的搜刮时间复杂度是 O(1)，但是，假如存在哈希碰撞，即两个不同的关键字被映射到同一个桶中，那么就需要使用链表等数据布局来解决辩说。在这种情况下，搜刮的时间复杂度通常是 O(n)，此中n是链表的长度。所以为了提高哈希函数的搜刮的效率，通常会将哈希函数的碰撞概率尽可能的小。
但是在向量搜刮中，我们的目的是为了找到相似的向量，所以可以专门设计一种哈希函数，使得哈希碰撞的概率尽可能高，而且位置越近大概越相似的向量越容易碰撞，这样相似的向量就会被映射到同一个桶中。
等搜刮特定向量时，为了找到给定查询向量的近来邻居，使用相同的哈希函数将类似向量“分桶”到哈希表中。查询向量被散列到特定表中，然后与该表中的其他向量进行比力以找到最靠近的匹配项。这种方法比搜刮整个数据集要快得多，由于每个哈希表桶中的向量远少于整个空间中的向量数。
那么这个哈希函数应该怎样设计呢？为了大家更好理解，我们先从二维坐标系解释，如下所图示，在二维坐标系中可以通过随机生成一条直线，将二维坐标系划分为两个地区，这样就可以通过判定向量是否在直线的同一边来判定它们是否相似。例如下图通过随机生成 4 条直线，这样就可以通过 4 个二进制数来表示一个向量的位置，例如 A 和 B 表示向量在同一个地区。

这个原理很简单，假如两个向量的距离很近，那么它们在直线的同一边的概率就会很高，例如直线穿过 AC 的概率就宏大于直线穿过 AB 的概率。所以 AB 在同一侧的概率就宏大于 AC 在同一侧的概率。
当搜刮一个向量时，将这个向量再次进行哈希函数计算，得到相同桶中的向量，然后再通过暴力搜刮的方式，找到最靠近的向量。如下图假如再搜刮一个向量经过了哈希函数，得到了 0110 的值，就会直接找到和它同一个桶中相似的向量 D。从而大大减少了搜刮的时间。

Random Projection for LSH 随机投影

假如在二维坐标系可以通过随机生成的直线区分相似性，那么同理，在三维坐标系中，就可以通过随机生成一个平面，将三维坐标系划分为两个地区。在多维坐标系中，同样可以通过随机生成一个超平面，将多维坐标系划分为两个地区，从而区分相似性。
但是在高维空间中，数据点之间的距离通常非常稀疏，数据点之间的距离会随着维度的增加呈指数级增长。导致计算出来的桶非常多，最极端的情况是每个桶中就一个向量，而且计算速率非常慢。所以实际上在实现 LSH 算法的时候，会考虑使用随机投影的方式，将高维空间的数据点投影到低维空间，从而减少计算的时间和提高查询的质量。
随机投影背后的根本头脑是使用随机投影矩阵将高维向量投影到低维空间中。创建一个由随机数构成的矩阵，其大小将是所需的目标低维值。然后，计算输入向量和矩阵之间的点积，得到一个被投影的矩阵，它比原始向量具有更少的维度但仍保留了它们之间的相似性。
当我们查询时，使用相同的投影矩阵将查询向量投影到低维空间。然后，将投影的查询向量与数据库中的投影向量进行比力，以找到近来邻居。由于数据的维数降低了，搜刮过程比在整个高维空间中搜刮要快得多。
其根本步骤是：
同样，随机投影也是一种近似方法，而且投影质量取决于投影矩阵。通常情况下，随机性越大的投影矩阵，其映射质量就越好。但是生成真正随机的投影矩阵可能管帐算本钱很高，特别是对于大型数据集来说。
相似性测量 (Similarity Measurement)

上面我们讨论了向量数据库的不同搜刮算法，但是还没有讨论怎样衡量相似性。在相似性搜刮中，需要计算两个向量之间的距离，然后根据距离来判定它们的相似度。
而怎样计算向量在高维空间的距离呢？有三种常见的向量相似度算法：欧几里德距离、余弦相似度和点积相似度。
欧几里得距离（Euclidean Distance）

欧几里得距离是指两个向量之间的距离，它的计算公式为：
�(�,�)=∑�=1�(��−��)2d(A,B)=i=1∑n(Ai−Bi)2
此中，�A 和 �B 分别表示两个向量，�n 表示向量的维度。

欧几里得距离算法的优点是可以反映向量的绝对距离，适用于需要考虑向量长度的相似性计算。例如保举系统中，需要根据用户的历史举动来保举相似的商品，这时就需要考虑用户的历史举动的数量，而不但仅是用户的历史举动的相似度。
余弦相似度（Cosine Similarity）

余弦相似度是指两个向量之间的夹角余弦值，它的计算公式为：
cos⁡(�)=�⋅�∣�∣∣�∣cos(θ)=∣A∣∣B∣A⋅B
此中，�A 和 �B 分别表示两个向量，⋅⋅ 表示向量的点积，∣�∣∣A∣ 和 ∣�∣∣B∣ 分别表示两个向量的模长。

余弦相似度对向量的长度不敏感，只关注向量的方向，因此适用于高维向量的相似性计算。例如语义搜刮和文档分类。
点积相似度 (Dot product Similarity)

向量的点积相似度是指两个向量之间的点积值，它的计算公式为：
�⋅�=∑�=1�����A⋅B=i=1∑nAiBi
此中，�A 和 �B 分别表示两个向量，�n 表示向量的维度。

点积相似度算法的优点在于它简单易懂，计算速率快，而且兼顾了向量的长度和方向。它适用于许多实际场景，例如图像辨认、语义搜刮和文档分类等。但点积相似度算法对向量的长度敏感，因此在计算高维向量的相似性时可能会出现题目。
每一种相似性测量 (Similarity Measurement) 算法都有其优点和缺点，需要开辟者根据自己的数据特征和业务场景来选择。
过滤 (Filtering)

在实际的业务场景中，通常不需要在整个向量数据库中进行相似性搜刮，而是通过部门的业务字段进行过滤再进行查询。所以存储在数据库的向量通常还需要包含元数据，例如用户 ID、文档 ID 等信息。这样就可以在搜刮的时候，根据元数据来过滤搜刮效果，从而得到终极的效果。
为此，向量数据库通常维护两个索引：一个是向量索引，另一个是元数据索引。然后，在进行相似性搜刮本身之前或之后实行元数据过滤，但无论哪种情况下，都存在导致查询过程变慢的困难。

过滤过程可以在向量搜刮本身之前或之后实行，但每种方法都有自己的挑战，可能会影响查询性能：

为了优化过滤流程，向量数据库使用各种技能，例如利用先辈的索引方法来处理元数据或使用并行处理来加速过滤任务。平衡搜刮性能和筛选精度之间的权衡对于提供高效且相干的向量数据库查询效果至关重要。
向量数据库选型

笔者在本文中，花费了大量的笔墨来介绍向量数据库的相似性搜刮算法的原理和实现，相似性搜刮算法固然是一个向量数据库的核心和关键点，但是在实际的业务场景中，通常还需要考虑其它的因素，例如向量数据库的可用性、扩展性、安全性等，还有代码是否开源、社区是否活泼等等。
分布式

一个成熟的向量数据库，通常需要支持分布式摆设，这样才能满足大规模数据的存储和查询。数据拥有的越多，需要节点就越多，出现的错误和故障也就越多，所以分布式的向量数据库需要具备高可用性和容错性。
数据库的高可用性和容错性，通常需要实现分片和复制本领，在传统的数据库中，通常通过数据的主键大概根据业务需求进行分片，但是在分布式的向量数据库中，就需要考虑根据向量的相似性进行分区，以便查询的时候能够包管效果的质量和速率。
其它类似复制节点数据的同等性、数据的安全性等等，都是分布式向量数据库需要考虑的因素。
访问控制和备份

除此之外，访问控制设计的是否充足，例如当构造和业务快速发展时，是否能够快速的添加新的用户和权限控制，是否能够快速的添加新的节点，审计日志是否美满等等，都是需要考虑的因素。
别的，数据库的监控和备份也是一个重要的因素，当数据出现故障时，能够快速的定位题目和恢复数据，是一个成熟的向量数据库必须要考虑的因素。
API & SDK

对比上面的因素选择，API & SDK 可能是通常被忽略的因素，但是在实际的业务场景中，API & SDK 通常是开辟者最关心的因素。由于 API & SDK 的设计直接影响了开辟者的开辟效率和使用体验。一个优秀良好的 API & SDK 设计，通常能够顺应需求的不同变革，向量数据库是一个新的范畴，在如今大部门人不太清楚这方面需求的当下，这一点容易被人忽视。
选型

截至目前，汇总到目前的向量数据库有以下几种选择：
向量数据库URLGitHub StarLanguageCloudchromahttps://github.com/chroma-core/chroma7.4KPython❌milvushttps://github.com/milvus-io/milvus21.5KGo/Python/C++✅pineconehttps://www.pinecone.io/❌❌✅qdranthttps://github.com/qdrant/qdrant11.8KRust✅typesensehttps://github.com/typesense/typesense12.9KC++❌weaviatehttps://github.com/weaviate/weaviate6.9KGo✅ 传统数据的扩展

除了选择专业的向量数据库，使用传统数据库进行扩展也是一种方法。类似 Redis 除了传统的 Key Value 数据库用途外，Redis 还提供了 Redis Modules，这是一种通过新功能、下令和数据范例扩展 Redis 的方式。例如使用 RediSearch模块来扩展向量搜刮的功能。
同理的还有 PostgreSQL 的扩展，PostgreSQL 提供使用 extension 的方式来扩展数据库的功能，例如 pgvector 来开启向量搜刮的功能。它不但支持精确和相似性搜刮，还支持余弦相似度等相似性测量算法。最重要的是，它是附加在 PostgreSQL 上的，因此可以利用 PostgreSQL 的全部功能，例如 ACID 事务、并发控制、备份和恢复等。还拥有全部的 PostgreSQL 客户端库，因此可以使用任何语言的 PostgreSQL 客户端来访问它。可以减少开辟者的学习本钱和服务的维护本钱。
像笔者的开源项目 ChatFiles 和 VectorHub 目前就暂时使用 pgvector 来实现向量搜刮以实现 GPT 文档问答，基于 Supabase 提供的 PostgreSQL + pgvector服务完成。
总结

本文主要介绍了向量数据库的原理和实现，包罗向量数据库的根本概念、相似性搜刮算法、相似性测量算法、过滤算法和向量数据库的选型等等。向量数据库是极新的范畴，目前大部门向量数据库公司的估值乘着 AI 和 GPT 的东风从而飞速的增长，但是在实际的业务场景中，目前向量数据库的应用场景还比力少，抛开浮躁的外衣，向量数据库的应用场景还需要开辟者们和业务专家们去挖掘。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4