Spring Boot框架使用chromadb向量库

引入maven依靠

1. <!-- 这个是向量库的包 -->
2. <dependency>
3.     <groupId>io.github.amikos-tech</groupId>
4.     <artifactId>chromadb-java-client</artifactId>
5.     <version>0.1.7</version>
6. </dependency>
8. <!-- 这个是阿里的包 -->
9. <dependency>
10.     <groupId>com.alibaba</groupId>
11.     <artifactId>dashscope-sdk-java</artifactId>
12.     <version>2.16.10</version>
13. </dependency>

复制代码

默认嵌入函数

1. 下面是人家写好的例子，可以直接用，我复制过来的，文章最后是源码地址和文档地址

复制代码

1. package tech.amikos;
3. import tech.amikos.chromadb.*;
4. import tech.amikos.chromadb.Collection;
5. import tech.amikos.chromadb.embeddings.DefaultEmbeddingFunction;
7. import java.util.*;
9. public class Main {
10.     public static void main(String[] args) {
11.         try {
12.             Client client = new Client(System.getenv("CHROMA_URL"));
13.             client.reset();
14.             EmbeddingFunction ef = new DefaultEmbeddingFunction();
15.             Collection collection = client.createCollection("test-collection", null, true, ef);
16.             List<Map<String, String>> metadata = new ArrayList<>();
17.             metadata.add(new HashMap<String, String>() {{
18.                 put("type", "scientist");
19.             }});
20.             metadata.add(new HashMap<String, String>() {{
21.                 put("type", "spy");
22.             }});
23.             collection.add(null, metadata, Arrays.asList("Hello, my name is John. I am a Data Scientist.", "Hello, my name is Bond. I am a Spy."), Arrays.asList("1", "2"));
24.             Collection.QueryResponse qr = collection.query(Arrays.asList("Who is the spy"), 10, null, null, null);
25.             System.out.println(qr);
26.         } catch (Exception e) {
27.             System.out.println(e);
28.         }
29.     }
30. }

复制代码

重写嵌入函数，使用自界说的嵌入模子，这里我用的是阿里的文本向量模子

由于chromadb是国外的，默认的嵌入函数对中文不是那么友好，向量中文的内容，查询出来的结果不是那么理想，以是这里我使用阿里的文本向量模子，对中文进行向量转换，然后使用chromadb的向量模子进行存储，查询。当然，文章最后的链接文档中也有使用别的向量模子，比如“OpenAI、Cohere ”等，大家可以根据自己的需求进行选择。我这里只是阿里的文本向量模子例子，不多说，上代码：

• 1.界说了一个名为 LingJiEmbeddingFunction 的类，实现 EmbeddingFunction 接口，
  

1. public class LingJiEmbeddingFunction implements EmbeddingFunction {
2.     private static String key0 = "你自己的阿里key";
3.     private static String model = "text-embedding-v1"; // 阿里模型名称
5.     private TextEmbedding textEmbedding;

复制代码

• 2.实现下面 EmbeddingFunction接口的方法
  

1.     Embedding embedQuery(String query) throws EFException;
3.     List<Embedding> embedDocuments(List<String> documents) throws EFException;
5.     List<Embedding> embedDocuments(String[] documents) throws EFException;

复制代码

算了，第一次写文章，直接上代码吧，这里就不一一表明白，代码中有注释，大家看代码吧，有题目可以留言，我尽量复兴：

1.     public LingJiEmbeddingFunction() {
2.         // 初始化灵积的TextEmbedding客户端
3.         this.textEmbedding = new TextEmbedding();
4.     }
6.     @Override
7.     public Embedding embedQuery(String query) throws EFException {
8.         try {
9.             TextEmbeddingParam param = TextEmbeddingParam
10.                     .builder()
11.                     .apiKey(key0)
12.                     .model(model)
13.                     .texts(Arrays.asList(query))
14.                     .build();
15.             TextEmbeddingResult result = textEmbedding.call(param);
16.             return extractEmbedding(result.getOutput().getEmbeddings().get(0));
17.         } catch (ApiException | NoApiKeyException e) {
18.             throw new EFException(e);
19.         }
20.     }
22.     @Override
23.     public List<Embedding> embedDocuments(List<String> documents) throws EFException {
24.         try {
25.             TextEmbeddingParam param = TextEmbeddingParam
26.                     .builder()
27.                     .apiKey(key0)
28.                     .model(model)
29.                     .texts(documents)
30.                     .build();
31.             TextEmbeddingResult result = textEmbedding.call(param);
32.             return result.getOutput().getEmbeddings().stream()
33.                     .map(this::extractEmbedding)
34.                     .collect(Collectors.toList());
35.         } catch (ApiException | NoApiKeyException e) {
36.             throw new EFException(e);
37.         }
38.     }
40.     @Override
41.     public List<Embedding> embedDocuments(String[] documents) throws EFException {
42.         // 直接委托给List<String>版本的实现
43.         return embedDocuments(Arrays.asList(documents));
44.     }
46.     private Embedding extractEmbedding(TextEmbeddingResultItem embeddingItem) {
47.         List<Double> vector = embeddingItem.getEmbedding();
48.         return new Embedding(vector);
49.     }

复制代码

上面就是自界说使用阿里的文本向量模子了，下面是怎么使用写好的自界说模子去处量文本入库，我这只是简单使用，复杂的自己点开看sdk的接口可以实现什么：

1. @Slf4j
2. public class ChromaDBDiseaseUtils {
4.     private static final String CHROMA_URL = "http://127.0.0.1:31282"; // 你安装的ChromaDB地址，我这是安装在我自己电脑
5.     private static final String collectionName = "collectionNameTest"; // 自己定义集合名称，相对于mysql中的表名称，我是这样理解的
6.     private static Client client;
7.     private static Collection collection;
9.     static {
10.         try {
11.             // 创建 ChromaDB 客户端
12.             client = new Client(CHROMA_URL);
13.             // 创建自定义嵌入函数实例
14.             LingJiEmbeddingFunction customEF = new LingJiEmbeddingFunction();
15.             // 创建集合
16.             collection = client.createCollection(collectionName, null, true, customEF);
17.         } catch (Exception e) {
18.             log.error("初始化ChromaDB客户端或集合失败: {}", e.getMessage());
19.         }
20.     }
22.     /**
23.      * 向向量库中添加文档
24.      * @param documents
25.      * @param metadata
26.      * @param ids
27.      */
28.     public static void addDocuments(List<String> documents, List<Map<String, String>> metadata, List<String> ids) {
29.         try {
30.             // 向集合中添加文档
31.             collection.add(null, metadata, documents, ids);
32.         } catch (Exception e) {
33.             log.error("ChromaDB库添加文档失败: {}", e.getMessage());
34.         }
35.     }
37.     /**
38.      * 根据查询条件查询文档
39.      * @param query 查询语句
40.      * @param nResults 返回结果数量
41.      * @param where 查询条件（元数据的查询条件）
42.      * @return
43.      */
44.     public static Collection.QueryResponse queryDocuments(String query, Integer nResults, Map<String, Object> where) {
45.         try {
46.             // 查询文档
47.             return collection.query(Arrays.asList(query), nResults, where, null, null);
48.         } catch (Exception e) {
49.             log.error("ChromaDB库查询单据失败: {}", e.getMessage());
50.             return null;
51.         }
52.     }
54.     /**
55.      * 删除集合
56.      * @return
57.      */
58.     public static Collection deleteCollection(){
59.         try {
60.             // 删除集合
61.             return client.deleteCollection(collectionName);
62.         } catch (Exception e) {
63.             log.error("ChromaDB库删除集合失败: {}", e.getMessage());
64.             return null;
65.         }
66.     }
68. }

复制代码

工具写好了，那么下面就是怎么使用了：

1. public static void main(String[] args) {
2.         // 向量文本内容
3.         List<String> documents = new ArrayList<>();
4.         // 元数据（这个相对于mysql的查询条件，可以用也可以不用，如果你想精确的查询到某一条就需要这个了）
5.         List<Map<String, String>> metadata = new ArrayList<>();
6.         // 文档id
7.         List<String> ids = new ArrayList<>();
8.         documents.add("测试文本1");
9.         Map<String, String> meta = new HashMap<>();
10.         meta.put("id", "id1");
11.         metadata.add(meta);
12.         ids.add("1");
13.         ChromaDBDiseaseUtils.addDocuments(documents, metadata, ids);
14.         
15.         // 查询
16.         Collection.QueryResponse qr = ChromaDBDiseaseUtils.queryDocuments("文本", 3,null);
17.         // 我是查询3条，这边是打印查询出来的接口，
18.         qr.getDocuments().get(0).stream().forEach(System.out::println);
19.         qr.getMetadatas().get(0).stream().forEach(System.out::println);
20.         qr.getDistances().get(0).stream().forEach(System.out::println);
22.         // 删除集合
23.         // ChromaDBDiseaseUtils.deleteCollection();
24.     }

复制代码

这样就可以使用chromadb了，当然，这只是简单的使用，如果需要更复杂的操纵，可以参考chromadb的官方文档。
参考文献：GitHub - amikos-tech/chromadb-java-client: A thin client for Chroma Vector DB implemented in Java
感谢大佬们的无私奉献，才有我们这些小白可以快速上手。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。