通过DashScope API调用将多种模态转换为向量

本文介绍如何通过模型服务灵积DashScope进行 多模态向量生成 ，并入库至向量检索服务DashVector中进行向量检索。
模型服务灵积DashScope，通过机动、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开辟者所用。通过灵积API，开辟者不仅可以直接集成大模型的强大能力，也可以对模型进行练习微调，实现模型定制化。
条件条件

• DashVector：
  
  
  
  • 已创建Cluster
    
  • 已获得API-KEY
    
  • 已安装最新版SDK
    
  • 已开通服务并获得API-KEY
    
  • 已安装最新版SDK
    
  
  

ONE-PEACE多模态向量表征

简介

ONE-PEAC是一个 图文音三模态 通用表征模型，在语义分割、音文检索、音频分类和视觉定位几个任务都到达了新SOTA表现，在视频分类、图像分类、图文检索、以及多模态经典benchmark也都取得了比力领先的结果。

分析
关于灵积ONE-PEACE多模态向量表征更多信息请参考：ONE-PEACE多模态向量表征。
使用示例

分析
需要进行如下替换代码才能正常运行：

• DashVector api-key替换示例中的
  
• DashVector Cluster Endpoint替换示例中的
  
• DashScope api-key替换示例中的
  

Python

1. import dashscope
2. from dashscope import MultiModalEmbedding
3. from dashvector import Client
6. dashscope.api_key = '{your-dashscope-api-key}'
9. # 调用DashScope ONE-PEACE模型，将各种模态素材embedding为向量
10. def generate_embeddings(text: str = None, image: str = None, audio: str = None):
11.     input = []
12.     if text:
13.         input.append({'text': text})
14.     if image:
15.         input.append({'image': image})
16.     if audio:
17.         input.append({'audio': audio})
18.     result = MultiModalEmbedding.call(
19.         model=MultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,
20.         input=input,
21.         auto_truncation=True
22.     )
23.     if result.status_code != 200:
24.         raise Exception(f"ONE-PEACE failed to generate embedding of {input}, result: {result}")
25.     return result.output["embedding"]
28. # 创建DashVector Client
29. client = Client(
30.     api_key='{your-dashvector-api-key}',
31.     endpoint='{your-dashvector-cluster-endpoint}'
32. )
34. # 创建DashVector Collection
35. rsp = client.create('one-peace-embedding', 1536)
36. assert rsp
37. collection = client.get('one-peace-embedding')
38. assert collection
40. # 向量入库DashVector
41. collection.insert(
42.     [
43.         ('ID1', generate_embeddings(text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一')),
44.         ('ID2', generate_embeddings(image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png')),
45.         ('ID3', generate_embeddings(audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac')),
46.         ('ID4', generate_embeddings(
47.             text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一',
48.             image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png',
49.             audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'
50.         ))
51.     ]
52. )
54. # 向量检索
55. docs = collection.query(
56.     generate_embeddings(text='The best vector database')
57. )
58. print(docs)

复制代码

干系最佳实践

• DashVector + DashScope升级多模态检索
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。