ToB企服应用市场:ToB评测及商务社交产业平台

标题: 从服务器上直接下载huggingface模型，解决huggingface无法毗连问题 [打印本页]

作者: 反转基因福娃 时间: 2024-6-15 03:50
标题: 从服务器上直接下载huggingface模型，解决huggingface无法毗连问题
问题说明

在服务器上使用huggingface模型时，假如直接指定模型名称，用AutoTokenizer.from_pretrained(“model_name”)，可能会由于网络原因会报错 Failed to connect to huggingface.co port 443 after 75018 ms: Operation time out
因此我们需要下载模型到服务器上，得到模型当地的路径model_dir，再通过AutoTokenizer.from_pretrained(model_dir)方式来使用。
下载方式1：手动从huggingface界面下载相应文件

从huggingface官网挨个下载文件。这种方式需要先下载模型到当地，再上传到服务器上，颠末两次传输，非常麻烦。不保举

下载方式2 使用下载器下载

去huggingface 镜像网站，先将图中的model_download.py下载到服务器中的模型路径里。
下载代码为：

wget https://aliendao.cn/model_download.py

复制代码

然后运行代码：

pip install huggingface_hub
python model_download.py --repo_id （模型ID)

复制代码

不知道模型ID的可以去搜刮栏搜刮模型名称，比如baichuan2-7B-Chat

如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat
这样就能直接在服务器上下载huggingface模型了，而且会显示下载进度条。速度大约是2M/s

温馨提示

模型下载通常要很久，别忘了打开tmux窗口防止电脑休眠导致网络制止哦
假如你忘了打开tmux窗口也不要紧，可以按ctrl-z暂停使命，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载
下载方式3 使用github脚本下载

可以通过此项目，可以实现下载和加载模型都只需要模型名称。
github项目链接：https://github.com/LetheSec/HuggingFace-Download-Accelerator

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)