以图搜图功能实现（ES/Milvus）

思绪方案

思绪

需要将非结构化数据→转为结构化→再完成搜索。将非结构化数据，转化为结构化的多维向量，用这些向量标识实体和实体间的关系。再盘算向量之间距离，通常情况下，距离越近、相似度越高，召回相似度最高的TOP结果，完成检索。

方案

给定一组查询图片和数据库图片。我们对数据库图片实行以图搜图操纵，在image embeddings（将图片数据转换为固定巨细的特征表示——矢量）上获取前k个最相似的数据库中的图片。
将接纳以下两种方法实行以图搜图功能：
Milvus 向量数据库

Milvus 在非结构化数据处理中的应用非常强大。Milvus 向量相似度检索引擎可以兼容各种深度学习平台，搜索十亿向量仅毫秒响应。
ElasticSearch 向量数据库（resnet50模型）

方案一（Milvus1.0）

功能介绍

以图搜图，涉及两大功能：1、提取图像特征向量。2、相似向量检索。
通过盘算特征向量来分析非结构化数据。使用ResNet-50举行特征提取，构建反向图像搜索体系。
情况搭建

yaml文件配置

1. version: 0.5
3. cluster:
4.   enable: false
5.   role: rw
7. general:
8.   timezone: UTC+8
9.   meta_uri: sqlite://:@:/
11. network:
12.   bind.address: 0.0.0.0
13.   bind.port: 19530
14.   http.enable: true
15.   http.port: 19121
16. storage:
17.   path: /var/lib/milvus
18.   auto_flush_interval: 1
19. wal:
20.   enable: true
21.   recovery_error_ignore: false
22.   buffer_size: 256MB
23.   path: /var/lib/milvus/wal
24. cache:
25.   cache_size: 256MB
26.   insert_buffer_size: 256MB
27.   preload_collection:
28. gpu:
29.   enable: false
30.   cache_size: 256MB
31.   gpu_search_threshold: 1000
32.   search_devices:
33.     - gpu0
34.   build_index_devices:
35.     - gpu0
36. fpga:
37.    enable: false
38.    search_devices:
39.      - fpga0
40. logs:
41.   level: debug
42.   trace.enable: true
43.   path: /var/lib/milvus/logs
44.   max_log_file_size: 1073741824
45.   log_rotate_num: 0
46.   log_to_stdout: false
47.   log_to_file: true
48. metric:
49.   enable: false
50.   address: 127.0.0.1
51.   port: 9091

复制代码

docker摆设

1. docker run -d --name milvus_1 \
2. -p 19530:19530 \
3. -p 19121:19121 \
4. -v /root/milvus/db:/var/lib/milvus/db \
5. -v /root/milvus/conf:/var/lib/milvus/conf \
6. -v /root/milvus/logs:/var/lib/milvus/logs \
7. -v /root/milvus/wal:/var/lib/milvus/wal \
8. milvusdb/milvus:1.0.0-cpu-d030521-1ea92e
9. 2)
11. docker run -d --name image_search \
12. -v /root/milvus/pic:/tmp/pic1 \
13. -p 35000:5000 \
14. -e "DATA_PATH=/tmp/images-data" \
15. -e "MILVUS_HOST=你的服务器ip地址" \
16. milvusbootcamp/pic-search-webserver:1.0
17. 3)
19. docker run --name milvus_image_search_web -d --rm -p 8001:80 \
20. -e API_URL=http://你的服务器ip地址:35000 \
21. milvusbootcamp/pic-search-webclient:1.0

复制代码

结果图

测试

原图举行验证搜索

截图举行验证搜索

不相关图片举行验证

升级方案(Milvus2.X)

问题

在调用模型时无法连接至hugging face 无法将图片转为向量
方案二（ElasticSearch + ResNet-50模型）

功能介绍

以图搜图，涉及两大功能：1、提取图像特征向量。2、相似向量检索。
第一个功能通过pytorch下载保存resnet50模型并在java端借助djl调用实现，第二个功能通过elasticsearch7.12.2的dense_vector、cosineSimilarity实现。
情况摆设(通过编写pytorch模型并在java端借助djl调用实现)

提取图像特征下载模型到本地(resnet50模型)

1. import torch
2. import torch.nn as nn
3. import torchvision.models as models
5. class ImageFeatureExtractor(nn.Module):
6.     def __init__(self):
7.         super(ImageFeatureExtractor, self).__init__()
8.         self.resnet = models.resnet50(pretrained=True)
9.         #最终输出维度1024的向量，下文elastic search要设置dims为1024
10.         self.resnet.fc = nn.Linear(2048, 1024)
12.     def forward(self, x):
13.         x = self.resnet(x)
14.         return x
16. if __name__ == '__main__':
17.     model = ImageFeatureExtractor()
18.     model.eval()
19.     #根据模型随便创建一个输入
20.     input = torch.rand([1, 3, 224, 224])
21.     output = model(input)
22.     #以这种方式保存
23.     script = torch.jit.trace(model, input)
24.     script.save("model.pt")

复制代码

保存好的model.pt文件放入java项目的resources中。
摆设elasticsearch kibana

1. es版本:7.6.2
2. docker部署：
3. docker run -p 9200:9200 -p 9300:9300 \
4. --privileged=true --name es7.6.2 \
5. -e "discovery.type=single-node" \
6. -e ES_JAVA_OPTS="-Xms512m -Xmx1024m" \
7. -e "http.max_content_length=500mb" \
8. -v /root/mydata/plugins:/usr/share/elasticsearch/plugins \
9. -v /root/mydata/data:/usr/share/elasticsearch/data \
10. -v /root/mydata/logs:/usr/share/elasticsearch/logs \
11. -d elasticsearch:7.6.2
13. docker run -d \
14. --name kibana \
15. --restart=always \
16. -p 5601:5601 \
17. -v /data/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
18. kibana:7.6.2

复制代码

创建索引库

1. PUT /isi
2. {
3.   "mappings": {
4.     "properties": {
5.       "vector": {
6.         "type": "dense_vector",
7.         "dims": 1024
8.       },
9.       "url" : {
10.         "type" : "keyword"
11.       },
12.       "user_id": {
13.           "type": "keyword"
14.       }
15.     }
16.   }
17. }

复制代码

相似向量上传、检索

创建调用resnet模型 转化格式

1. public class Test {
3.   private static final String INDEX = "isi";
4.   private static final int IMAGE_SIZE = 224;
5.   private static Model model; //模型
6.   private static Predictor<Image, float[]> predictor;
7.   //predictor.predict(input)相当于python中model(input)
8.   static {
9.     try {
10.       model = Model.newInstance("model");
11.       //这里的model.pt是上面代码展示的那种方式保存的
12.       model.load(Test.class.getClassLoader().getResourceAsStream("model.pt"));
13.       Transform resize = new Resize(IMAGE_SIZE);
14.       Transform toTensor = new ToTensor();
15.       Transform normalize = new Normalize(new float[]{0.485f, 0.456f, 0.406f}, new float[]{0.229f, 0.224f, 0.225f});
16.       //Translator处理输入Image转为tensor、输出转为float[]
17.       Translator<Image, float[]> translator = new Translator<Image, float[]>() {
18.         @Override
19.         public NDList processInput(TranslatorContext ctx, Image input) throws Exception {
20.           NDManager ndManager = ctx.getNDManager();
21.           System.out.println("input: " + input.getWidth() + ", " + input.getHeight());
22.           NDArray transform = normalize.transform(toTensor.transform(resize.transform(input.toNDArray(ndManager))));
23.           System.out.println(transform.getShape());
24.           NDList list = new NDList();
25.           list.add(transform);
26.           return list;
27.         }
28.         @Override
29.         public float[] processOutput(TranslatorContext ctx, NDList ndList) throws Exception {
30.           return ndList.get(0).toFloatArray();
31.         }
32.       };
33.       predictor = new Predictor<>(model, translator, Device.cpu(), true);
34.     } catch (Exception e) {
35.       e.printStackTrace();
36.     }
37.   }
38. }

复制代码

批量上传图片到es

1. public static void upload() throws Exception {
2.         RestHighLevelClient client = new RestHighLevelClient(
3.                 RestClient.builder(new HttpHost("192.168.110.132", 9200, "http")));
4.         //批量上传请求
5.         File file = new File("E:\\javacode\\javaes\\src\\main\\resources\\test");
6.         File[] files = file.listFiles();
7.         if (files == null) return;
8.         int batchSize = 1000;
9.         for (int i = 0; i < files.length; i += batchSize) {
10.             BulkRequest bulkRequest = new BulkRequest(INDEX);
11.             for (int j = i; j < i + batchSize && j < files.length; j++) {
12.                 File listFile = files[j];
13.                 float[] vector = predictor.predict(ImageFactory.getInstance().fromInputStream(new FileInputStream(listFile)));
14.                 Map<String, Object> jsonMap = new HashMap<>();
15.                 jsonMap.put("url", listFile.getAbsolutePath());
16.                 jsonMap.put("vector", vector);
17.                 jsonMap.put("user_id", "user123");
18.                 IndexRequest request = new IndexRequest(INDEX).source(jsonMap, XContentType.JSON);
19.                 bulkRequest.add(request);
20.             }
21.             client.bulk(bulkRequest, RequestOptions.DEFAULT);
22.             /*for (File listFile : file.listFiles()) {
23.             float[] vector = predictor.predict(ImageFactory.getInstance().fromInputStream(Test2.class.getClassLoader().getResourceAsStream("test/" + listFile.getName())));
24.             // 构建文档
25.             Map<String, Object> jsonMap = new HashMap<>();
26.             jsonMap.put("url", listFile.getAbsolutePath());
27.             jsonMap.put("vector", vector);
28.             jsonMap.put("user_id", "user123");
29.             IndexRequest request = new IndexRequest(INDEX).source(jsonMap, XContentType.JSON);
30.             bulkRequest.add(request);*/
31.         }
33.         client.close();
34.     }

复制代码

搜索(将图片转为向量与es文档库匹配)

1. public static List<SearchResult> search(InputStream input) throws Throwable {
2.         float[] vector = predictor.predict(ImageFactory.getInstance().fromInputStream(input));
3.         System.out.println(Arrays.toString(vector));
5.         //展示k个结果
6.         int k = 50;
7.         // 连接Elasticsearch服务器
8.         RestHighLevelClient client = new RestHighLevelClient(
9.                 RestClient.builder(new HttpHost("192.168.110.132", 9200, "http")));
11.         SearchRequest searchRequest = new SearchRequest(INDEX);
12.         Script script = new Script(
13.                 ScriptType.INLINE,
14.                 "painless",
15.                 "cosineSimilarity(params.queryVector, doc['vector'])",
16.                 Collections.singletonMap("queryVector", vector));
18.         FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery(
19.                 QueryBuilders.matchAllQuery(),
20.                 ScoreFunctionBuilders.scriptFunction(script));
22.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
23.         searchSourceBuilder.query(functionScoreQueryBuilder)
24.                 .fetchSource(null, "vector") //不返回vector字段，没用还耗时
25.                 .size(k);
27.         searchRequest.source(searchSourceBuilder);
29.         SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
31.         SearchHits hits = searchResponse.getHits();
33.         List<SearchResult> list = new ArrayList<>();
34.         for (SearchHit hit : hits) {
35.             // 处理搜索结果
36.             System.out.println(hit.toString());
37.             SearchResult result = new SearchResult((String) hit.getSourceAsMap().get("url"), hit.getScore());
38.             list.add(result);
39.         }
41.         client.close();
42.         return list;
43.     }

复制代码

结果图

测试

原图举行验证搜索

截图举行验证搜索

不相关图片举行验证

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。