git,bash - 从一个远端git库只下载一个文件的方法

git,bash - 从一个远端git库只下载一个文件的方法

概述

github上有许多大佬上传了电子书库，如果只相中一本书，也要去迁出整个库，急死个人。
试了 Git希罕检出 的方法，不现实，由于对于一个巨大的库，那也下载好久啊(git库的元数据就很大)。
只能是用git库页面的下载raw文件的方法，只是说，是用工具来下载，还是手工点击用浏览器来下载的区别。
笔记

有的库，是卖书的人上传的，将书对应的pdf都删了，以是也没法下载raw文件。
以是只要浏览到库中的书，确实存在，就可以用下载raw文件。

如果想用bash脚本来下载，只是网络url, 可以F12来找raw file url.
开始没明白，直接下载网页上的url, 实际下载的是html.

下载后，发现.pdf尺寸不对，才200K+，打开一看，原来是这个页面的html.
在html中找raw file url

1. "rawBlobUrl":"https://github.com/weaiken/ebook/raw/refs/heads/master/03_operating_system/UNIX%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1.pdf

复制代码

在git bash窗口中，按照本身找到的实际raw file url来下载就Ok了。

1. curl -L -o UNIX操作系统设计1.pdf https://github.com/weaiken/ebook/raw/refs/heads/master/03_operating_system/UNIX%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1.pdf

复制代码

写一个bash脚本来自动下载

get_github_raw_file_from_url.sh

1. #!/bin/bash
3. # @file get_github_raw_file_from_url.sh
4. # @brief 从url中提取文件名(包括后缀)
5. # e.g. get_github_raw_file_from_url.sh https://github.com/weaiken/ebook/blob/master/03_operating_system/UNIX%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1.pdf
7. clear
9. # 参数检查
10. if [ $# -ne 1 ]; then
11.     echo "错误：需要且只能输入一个URL参数" >&2
12.     exit 1
13. fi
15. # 提取URL中的文件名部分
16. encoded_file=$(basename "$1")  # 或使用：encoded_file=${1##*/}
18. # URL解码函数
19. urldecode() {
20.     local encoded=$1
21.     printf '%b' "${encoded//%/\\x}" 2>/dev/null | sed 's/+/ /g'
22. }
24. # 执行解码并输出结果
25. decoded_file=$(urldecode "$encoded_file")
26. echo "原始文件为: $encoded_file"
27. echo "提取的中文文件名：$decoded_file"
29. curl -L -o $decoded_file $1
31. ./rename_file.sh $decoded_file $decoded_file html
33. html_file="$decoded_file.html"
34. echo "html file = $html_file"
36. raw_url=$(./find_key_value.sh $html_file "rawBlobUrl")
37. echo "raw_url = $raw_url"
39. curl -L -o $decoded_file $raw_url
41. echo "file download over : $decoded_file"

复制代码

reanme_file.sh

1. #!/bin/bash
3. # @file reanme_file.sh
4. # @brief 将参数1的文件名 改名为 参数2.参数3
5. # e.g. rename_file.sh a.pdf a.pdf html
6. # a.pdf => a.pdf.html
7. set -euo pipefail
9. # 参数校验
10. if [ $# -ne 3 ]; then
11.     echo "错误：需要3个参数，用法：$0 原文件名 前缀 后缀" >&2
12.     exit 1
13. fi
15. original_file="$1"
16. new_name="$2.$3"
18. # 文件存在性检查
19. if [ ! -f "$original_file" ]; then
20.     echo "错误：文件 '$original_file' 不存在" >&2
21.     exit 1
22. fi
24. # 执行重命名
25. mv -v "$original_file" "$new_name"
26. echo "重命名成功：$original_file -> $new_name"

复制代码

find_key_value.sh

1. #!/bin/bash
3. # find_key_value.sh
4. # 用法：./a.sh  <html文件> <键名>
6. html_file=$1
7. key_name=$2
9. # 使用正则表达式匹配JSON格式的键值对
10. value=$(grep -oP ""$key_name"\s*:\s*"\K[^"]+" "$html_file" | head -1)
12. # 验证结果并输出
13. if [ -z "$value" ]; then
14.     echo "未找到 $key_name 对应的值" >&2
15.     exit 1
16. else
17.     echo "$value"
18.     exit 0
19. fi

复制代码

执行命令

1. git库文件的html url, 可以从浏览器url标题栏拷贝
3. https://www.github.com/weaiken/ebook/blob/master/03_operating_system/UNIX操作系统设计.pdf

复制代码

在git bash命令行窗口中执行命令
脚本写的粗糙，必须包管网络正常。

1. ./get_github_raw_file_from_url.sh https://github.com/weaiken/ebook/blob/master/03_operating_system/UNIX%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1.pdf

复制代码

这个工具脚本已经实现了从库文件浏览到的实际html用户页面下载实际的库文件对应的raw原始文件。
END


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。