IT评测·应用市场-qidao123.com

标题: 解决git clone及huggingface下载等网络失败题目 [打印本页]

作者: 傲渊山岳 时间: 2024-7-24 18:48
标题: 解决git clone及huggingface下载等网络失败题目
近来git clone经常会clone不下来，于是乎记录一下解决方案。

git clone相关题目

工具：VPN
需要有一个VPN，然后git中输入如下命令：

git config --global http.proxy "localhost:1020"

复制代码

如果不可的话再试试下面这两个命令就好了。
git config --global http.proxy ‘socks5://127.0.0.1:1080’
git config --global https.proxy ‘socks5://127.0.0.1:1080’
这里的1020换成你自己的VPN端口，然后开着VPN git clone就可以成功啦。
huggingface数据集下载等题目

另外如果打代码的过程遇到huggingface数据集大概其他数据集在线下载不下来等情况，可以在代码中添加一下环境变量挂个代理就可以下载了。如下代码所示，localhost也就是127.0.0.1

from datasets import load_dataset
import os
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:1020'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:1020'
datasets = load_dataset('cmrc2018', cache_dir='./data')

复制代码

huggingface eval评价指标题目

一般加载评价指标直接从huggingface加载下载就可以

import evaluate
metric_name = 'accuracy'
accuracy = evaluate.load(metric_name)
result = accuracy.compute(references=[0,1,0,1], predictions=[1,0,0,1])
print(result)

复制代码

但是如果出现一些网络题目的话，上述代码就会一直卡在 load 迟迟没有结果。
如果直接利用指标名称“accuracy”等，程序将会从 huggingface 上下载相应模块到缓存中利用，实际上我的题目就是无法顺利下载，
因此只能将相关文件下载到本地，接纳 local metric script 方法：
因此只能将相关文件下载到本地，接纳 local metric script 方法：
打开官方Github GitHub - huggingface/evaluate:

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)