LangChain4j与Elasticsearch：构建高效的语义嵌入存储
LangChain4j与Elasticsearch：构建高效的语义嵌入存储一、LangChain4j与Elasticsearch集成概述
1.1 LangChain4j简介
LangChain4j是一个为Java开发者筹划的开源库，旨在简化大型语言模型（LLM）在Java应用程序中的集成。它提供了与多个LLM提供商、嵌入存储、嵌入模型等的集成，支持文本和图像输入，以及AI服务的高级API。
1.2 Elasticsearch在LangChain4j中的作用
Elasticsearch是一个基于Lucene的搜刮引擎，提供了全文搜刮和分析功能。在LangChain4j中，Elasticsearch被用作嵌入存储，用于存储和检索语义嵌入向量，从而提高搜刮和检索的效率。
二、Elasticsearch作为嵌入存储的集成
2.1 为什么选择Elasticsearch
LangChain4j提供了内存嵌入存储，但对于更大的数据集，内存存储不适用，因为服务器内存有限。Elasticsearch的“弹性”特性使其能够根据数据量进行扩展，因此，将嵌入存储到Elasticsearch中是一个理想的选择。
2.2 添加Elasticsearch依赖
要在项目中集成Elasticsearch，需要添加以下Maven依赖：
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j-elasticsearch</artifactId>
<version>${langchain4j.version}</version>
</dependency>
<dependency>
<groupId>org.testcontainers</groupId>
<artifactId>elasticsearch</artifactId>
<version>1.20.1</version>
<scope>test</scope>
</dependency> 这些依赖包罗LangChain4j的Elasticsearch集成模块和TestContainers模块，后者用于在测试中启动Elasticsearch实例。
三、配置和使用Elasticsearch嵌入存储
3.1 启动Elasticsearch容器
使用TestContainers模块启动Elasticsearch实例：
ElasticsearchContainer container =
new ElasticsearchContainer("docker.elastic.co/elasticsearch/elasticsearch:8.15.0")
.withPassword("changeme");
container.start();
final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("elastic", "changeme"));
client = RestClient.builder(HttpHost.create("https://" + container.getHttpHostAddress()))
.setHttpClientConfigCallback(httpClientBuilder -> {
httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
httpClientBuilder.setSSLContext(container.createSslContextFromCa());
return httpClientBuilder;
})
.build();
client.performRequest(new Request("GET", "/")); 这段代码创建并启动了一个Elasticsearch容器，并配置了客户端以连接到该容器。
3.2 使用Elasticsearch作为嵌入存储
将Elasticsearch设置为LangChain4j的嵌入存储：
EmbeddingStore<TextSegment> embeddingStore =
ElasticsearchEmbeddingStore.builder()
.restClient(client)
.build();
embeddingStore.add(response1.content(), game1);
embeddingStore.add(response2.content(), game2); 这段代码将向量存储在Elasticsearch的默认索引中。也可以指定一个更故意义的索引名称：
EmbeddingStore<TextSegment> embeddingStore =
ElasticsearchEmbeddingStore.builder()
.indexName("games")
.restClient(client)
.build();
embeddingStore.add(response1.content(), game1);
embeddingStore.add(response2.content(), game2); 四、搜刮相似向量
4.1 向量化查询
要搜刮相似向量，首先需要使用模型将查询转换为向量表示：
String question = "I want to pilot a car";
Embedding questionAsVector = model.embed(question).content();
4.2 实行相似性搜刮
使用嵌入存储实行相似性搜刮：
EmbeddingSearchResult<TextSegment> result = embeddingStore.search(
EmbeddingSearchRequest.builder()
.queryEmbedding(questionAsVector)
.build()); 这段代码在Elasticsearch中搜刮与查询向量相似的向量。
五、总结
LangChain4j与Elasticsearch的集成提供了一个强盛的办理方案，用于处理和检索语义嵌入向量。通过将Elasticsearch作为嵌入存储，可以有用地扩展处理大数据集的能力，并提高搜刮相干性。这种方法联合了LangChain4j的灵活性和Elasticsearch的可扩展性，为构建高效的语义搜刮应用提供了坚固的底子。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]