IT评测·应用市场-qidao123.com

标题: 服务器无法连接huggingface下载模型 [打印本页]
作者: 万万哇    时间: 2025-3-12 12:31
标题: 服务器无法连接huggingface下载模型
报错代码

  1. import torch
  2. from FlagEmbedding.visual.modeling import Visualized_BGE
  4. def image_retrival():
  5.     ############ Use Visualized BGE doing composed image retrieval
  6.     model = Visualized_BGE(model_name_bge = "BAAI/bge-m3", model_weight="/data/suanfa/meng/mybge-m3/Visualized_m3.pth")
  7.     model.eval()
  8.     with torch.no_grad():
  9.         query_emb = model.encode(image="../image/whitedogwithyellowleaf.jpg/", text="Make the background dark, as if the camera has taken the photo at night")
  10.         candi_emb_1 = model.encode(image="../image/4dogs_on_lawn.jpg")
  11.         candi_emb_2 = model.encode(image="../image/whitedog.jpg")
  13.     sim_1 = query_emb @ candi_emb_1.T
  14.     sim_2 = query_emb @ candi_emb_2.T
  15.     print(sim_1, sim_2)
  16. if __name__=='__main__':
  17.     image_retrival()
复制代码
报错

  1. OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like BAAI/bge-m3 is not the path to a directory containing a file named config.json.
  2. Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-model'.
复制代码
解决方法1：offline-mode情势

1.打开hugging face 官网：https://huggingface.co/docs/transformers/installation#offline-mode 并点击Models

2.搜索我们需要的模型

输入利用的模型，并点击模型
3.下载文件

点击file and versions
通过后面的下载按钮下载圈出的五个文件到本地
4.上传文件到服务器
  1. (py38_bge) [root@x.x.x.x /data/suanfa/meng/mybge-m3/bge-m3]$ ll
  2. total 21664
  3. -rw-r--r-- 1 root root      687 Oct  9 20:01 config.json
  4. -rw-r--r-- 1 root root  5069051 Oct 10 19:50 sentencepiece.bpe.model
  5. -rw-r--r-- 1 root root      125 Oct 10 19:53 special_tokens_map.json
  6. -rw-r--r-- 1 root root      444 Oct  9 20:01 tokenizer_config.json
  7. -rw-r--r-- 1 root root 17098108 Oct  9 20:01 tokenizer.json
复制代码
5.修改py文件
  1. model = Visualized_BGE(model_name_bge = "/data/suanfa/meng/mybge-m3/bge-m3", model_weight="/data/suanfa/meng/mybge-m3/Visualized_m3.pth"
复制代码
6.运行报错
model.encode行报错
  1. IndexError: index out of range in self
复制代码
7.问题排查
息争决方法2下载下来的文件进行了对比，发现两个special_tokens_map.json文件内容不同等，于是替换成解决方法2下载下来的该文件替换方法1的该文件，问题成功解决，模型输出：
  1. tensor([[0.5751]]) tensor([[0.5856]])
复制代码
解决方法2：通过镜像下载模型

1.访问网站：https://hf-mirror.com/
内里有具体步骤：
  1. pip install -U huggingface_hub
  2. export HF_ENDPOINT=https://hf-mirror.com
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4