ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hugging Face 利用镜像下载模型/数据集 [打印本页]

---

作者: 石小疯    时间: 2024-10-21 07:24
标题: Hugging Face 利用镜像下载模型/数据集
下载 huggingface_hub

1. pip install huggingface_hub

复制代码

在命令行中运行以下命令登录到你的 Hugging Face 账户：

1. huggingface-cli login

复制代码

  需要提供 Hugging Face 网站上天生的访问令牌

  如果这里登不上去的话，可以先举行下一步，再回过来登录
设置情况变量

1. echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc
2. source ~/.bashrc

复制代码

要验证情况变量是否已精确设置并生效，可以在终端中运行以下命令：

1. echo $HF_ENDPOINT

复制代码

下载模型

1. huggingface-cli download OpenGVLab/InternVL2-8B --resume-download --local-dir /data1/zjk/InternVL-2-8B

复制代码

  

• huggingface-cli：这是 Hugging Face 提供的命令行工具，用于与 Hugging Face Hub 举行交互。你可以利用这个工具来下载模型、上传模型、查看模型信息等。
  
• download：这是命令行工具中的一个命令，用于从 Hugging Face Hub 下载模型或其他资源。
  
• --resume-download：这个选项用于在下载过程停止的情况下继续下载。它在网络连接不稳固或下载大文件时非常有用，可以制止因下载失败而重新开始。
  
• OpenGVLab/InternVL2-8B：这是指定要下载的模型的名称或标识符。
  
• --local-dir /data1/zjk/InternVL-2-8B：这个选项指定了下载文件在当地保存的目次。
  
• 你要修改的就是上面标红的地方，分别为指定模型名称和保存目次
  

  注意：如果你之前已经登录过了，然后呢你在Hugging Face上面刚通过了一个模型的访问权限，那么你需要新建一个token，然后重新在服务器那边登录一下，命令就是：

1. huggingface-cli login

复制代码

下载数据集

1. huggingface-cli download --repo-type dataset --resume-download rohit901/VANE-Bench --local-dir /data1/zjk/VANE-Bench/Dataset

复制代码

  

• --repo-type dataset：指定了你要下载的资源范例为数据集
  
• rohit901/VANE-Bench：下载的具体数据集的名称
  
• --local-dir /data1/zjk/VANE-Bench/Dataset：指定了下载后数据集将保存到的当地目次
  
• 你要修改的就是上面标红的地方，分别为指定数据集名称和保存目次
  

  效果

下载模型速率：

下载数据集速率：

补充

我最近下载数据集的时候，发现偶然候还是会因为网络问题停止，固然命令中可以在停止后不用重新开始下载，但是还需要手动实行命令，所以这里写了一个主动化脚本，可以在停止的时候让他自己实行命令：

1. #!/bin/bash
3. # 目标数据集和本地目录
4. DATASET="jherng/xd-violence"
5. LOCAL_DIR="/data2/nfs_node1/wzj/Data/XD-Violence"
6. MAX_RETRIES=10000000000     # 最大重试次数
7. RETRY_DELAY=0               # 每次重试前的等待时间（秒）
8. RETRY_COUNT=0
10. # 下载命令
11. download() {
12.     huggingface-cli download --repo-type dataset --resume-download "$DATASET" --local-dir "$LOCAL_DIR"
13. }
15. # 尝试下载，直到成功或达到最大重试次数
16. while true; do
17.     download
18.     if [ $? -eq 0 ]; then
19.         echo "Download completed successfully!"
20.         break
21.     else
22.         RETRY_COUNT=$((RETRY_COUNT+1))
23.         if [ $RETRY_COUNT -ge $MAX_RETRIES ]; then
24.             echo "Reached maximum retry attempts. Exiting."
25.             exit 1
26.         fi
27.         echo "Download failed. Retrying in $RETRY_DELAY seconds... ($RETRY_COUNT/$MAX_RETRIES)"
28.         sleep $RETRY_DELAY
29.     fi
30. done

复制代码

脚本说明：
1. 变量界说：

• DATASET：指定要下载的数据集。
  
• LOCAL_DIR：指定下载数据集的当地目次。
  
• MAX_RETRIES：设置最大重试次数。
  
• RETRY_DELAY：设置每次重试前等候的时间（秒）。
  
• RETRY_COUNT：跟踪重试次数。
  

2. download 函数：

• 该函数调用 huggingface-cli 命令来下载数据集。
  

3. while 循环：

• 该循环不停尝试下载，直到成功或达到最大重试次数。
  
• 如果下载成功 ($? -eq 0)，脚本退出循环。
  
• 如果下载失败，等候指定时间后重试，直到达到最大重试次数。
  

4. 脚本运行：

• 将该脚本保存为 download_retry.sh。
  
• 赋予脚本可实行权限：
  

1. chmod +x download_retry.sh

复制代码

• 运行脚本：
  

1. ./download_retry.sh

复制代码

如许，在下载过程中如果发生错误，脚本会主动重试下载，直到成功或达到最大重试次数。如果你希望无上限地重试，可以将 MAX_RETRIES 设置为一个非常大的数字，或者删除相干的检查。
参考博客

hf-mirror （huggingface 的国内镜像）_hf mirror-CSDN博客

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4