IT评测·应用市场-qidao123.com技术社区
标题:
通过ModelScope开源多模态Embedding模型进行向量天生
[打印本页]
作者:
用多少眼泪才能让你相信
时间:
2024-9-5 16:55
标题:
通过ModelScope开源多模态Embedding模型进行向量天生
本文介绍怎样通过
ModelScope魔搭社区
中的
多模态表征开源模型
进行
多模态向量天生
,并入库至向量检索服务DashVector中进行向量检索。
ModelScope魔搭社区
旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。
ModelScope魔搭社区的愿景是汇集行业领先的预练习模型,淘汰开发者的重复研发成本,提供更加绿色环保、开源开放的AI开发情况和模型服务,助力绿色"数字经济"事业的建设。 ModelScope魔搭社区将以开源的方式提供多类优质模型,开发者可在平台上免费体验与下载利用。
在ModelScope魔搭社区,您可以:
免费利用平台提供的预练习模型,支持免费下载运行
一行下令实现模型预测,简单快速验证模型效果
用本身的数据对模型进行调优,定制本身的个性化模型
学习系统性的知识,结合实训,有效提拔模型研发本领
分享和贡献你的想法、批评与模型,让更多人认识你,在社区中成长
条件条件
DashVector:
已创建Cluster
已获得API-KEY
已安装最新版SDK
ModelScope
已安装最新版SDK:pip install -U modelscope
CLIP模型
简介
本项目为
CLIP
模型的中文版本,利用大规模中文数据进行练习(
~2亿图文对
),可用于图文检索和图像、文本的表征提取,应用于搜刮、保举等应用场景。
关于CLIP模型更多信息请参考:
CLIP模型
利用示例
阐明
需要进行如下替换代码才能正常运行:
DashVector api-key替换示例中的
DashVector Cluster Endpoint替换示例中的
利用上表中
模型ID
替换示例中的
利用上表中
向量维度
替换示例中的
Python
from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
from modelscope.preprocessors.image import load_image
from typing import List
from dashvector import Client
pipeline = pipeline(task=Tasks.multi_modal_embedding, model='{model_id}')
def generate_text_embeddings(texts: List[str]):
inputs = {'text': texts}
result = pipeline.forward(input=inputs)
return result['text_embedding'].numpy()
def generate_img_embeddings(img: str):
input_img = load_image(img)
inputs = {'img': input_img}
result = pipeline.forward(input=inputs)
return result['img_embedding'].numpy()[0]
# 创建DashVector Client
client = Client(
api_key='{your-dashvector-api-key}',
endpoint='{your-dashvector-cluster-endpoint}'
)
# 创建DashVector Collection
rsp = client.create('CLIP-embedding', dimension={model_dim})
assert rsp
collection = client.get('CLIP-embedding')
assert collection
# 向量入库DashVector
collection.insert(
[
('ID1', generate_text_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0]),
('ID2', generate_img_embeddings('https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg'))
]
)
# 向量检索
docs = collection.query(
generate_text_embeddings(['The best vector database'])[0]
)
print(docs)
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)
Powered by Discuz! X3.4