Linux shell编程学习条记69： curl 命令行网络数据传输工具 选项数目雷人（ ...

灌篮少年  金牌会员 | 2024-8-15 09:17:05 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 626|帖子 626|积分 1878



0 媒介

curl是Linux中的一款综合性网络传输工具，既可以上传也可以下载，支持HTTP、HTTPS、FTP等30余种常见协‍议。
该命令选项超多，在学习条记68中，我们列举了该命令的部分实例，今天继续通过实例来研究curl命令的功能和用法。
1 curl命令应用实例

1.1 跟随重定向：curl -L 统一资源定位符

在访问一个网页时，假如这个网页已经移动到另一个站点时，会发送一个HTTP Loaction header作为哀求，然后将哀求重定向到新的地址上。
然而curl在默认环境下不会发送HTTP Location headers(重定向)，这时我们可以指定 -L 选项来跟随重定向。
例如，我们打开g.cn时会自动重定向跳转到 google.cn。
当我们利用命令 curl g.cn时，看到的是g.cn的代码。
要想看到google.cn的代码，可以在命令中指定-L选项，即 curl -L g.cn
  1. purpleEndurer @ bash ~] curl g.cn
  2. <HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
  3. <TITLE>301 Moved</TITLE></HEAD><BODY>
  4. <H1>301 Moved</H1>
  5. The document has moved
  6. <A HREF="https://google.cn/">here</A>.
  7. </BODY></HTML>
  8. [purpleEndurer @ bash ~] curl -L g.cn
  9. <!DOCTYPE html>
  10. <html lang="zh">
  11.   <head>
  12.     <meta charset="utf-8">
  13.     <title>Google</title>
  14.     <style>
  15.       html { background: #fff; margin: 0 1em; }
  16.       body { font: .8125em/1.5 arial, sans-serif; text-align: center; }
  17.       h1 { font-size: 1.5em; font-weight: normal; margin: 1em 0 0; }
  18.       p#footer { color: #767676; font-size: .77em; }
  19.       p#footer a { background: url(//www.google.cn/intl/zh-CN_cn/images/cn_icp.gif) top right no-repeat; padding: 5px 20px 5px 0; }
  20.       ul { margin: 2em; padding: 0; }
  21.       li { display: inline; padding: 0 2em; }
  22.       div { -moz-border-radius: 20px; -webkit-border-radius: 20px; border: 1px solid #ccc; border-radius: 20px; margin: 2em auto 1em; max-width: 650px; min-width: 544px; }
  23.       div:hover, div:hover * { cursor: pointer; }
  24.       div:hover { border-color: #999; }
  25.       div p { margin: .5em 0 1.5em; }
  26.       img { border: 0; }
  27.     </style>
  28.   </head>
  29.   <body>
  30.     <div>
  31.       <a href="https://www.google.com.hk/webhp?hl=zh-CN&amp;sourceid=cnhp">
  32.         <img src="//www.google.cn/intl/zh-CN_cn/landing/cnexp/google-search.png" alt="Google" width="586" height="257">
  33.       </a>
  34.       <h1><a href="https://www.google.com.hk/webhp?hl=zh-CN&amp;sourceid=cnhp"><strong id="target">google.com.hk</strong></a></h1>
  35.       <p>请收藏我们的网址
  36.     </div>
  37.     <p id="footer">
  38.       <span>ICP证合字B2-20070004号</span>
  39.     </p>
  40.   </body>
  41. </html>
  42. [purpleEndurer @ bash ~]
复制代码

 1.2 断点续传：curl -C - -O 统一资源定位符

在Windows中，我们可以利用迅雷等的软件进行断点续传。
在Linux中，curl可以通过-C选项同样可以到达相同的断点续传结果。
我们以下载 QQ Linux版 文件https://dldir1.qq.com/qqfile/qq/QQNT/Linux/QQ_3.2.12_240808_amd64_01.deb 为例。

  1. [purpleEndurer @ bash ~] ls
  2. Code
  3. [purpleEndurer @ bash ~] curl -O https://dldir1.qq.com/qqfile/qq/QQNT/Linux/QQ_3.2.12_240808_amd64_01.deb
  4.   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
  5.                                  Dload  Upload   Total   Spent    Left  Speed
  6. 13  145M   13 19.0M    0     0  6154k      0  0:00:24  0:00:03  0:00:21 6153k^C
  7. [purpleEndurer @ bash ~] ls
  8. Code  QQ_3.2.12_240808_amd64_01.deb
  9. [purpleEndurer @ bash ~] du QQ_3.2.12_240808_amd64_01.deb
  10. 22528   QQ_3.2.12_240808_amd64_01.deb
  11. [purpleEndurer @ bash ~] curl -C - -O https://dldir1.qq.com/qqfile/qq/QQNT/Linux/QQ_3.2.12_240808_amd64_01.deb
  12. ** Resuming transfer from byte position 23068672
  13.   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
  14.                                  Dload  Upload   Total   Spent    Left  Speed
  15. 100  123M  100  123M    0     0  26.0M      0  0:00:04  0:00:04 --:--:-- 28.1M
  16. [purpleEndurer @ bash ~] ls
  17. Code  QQ_3.2.12_240808_amd64_01.deb
  18. [purpleEndurer @ bash ~] du QQ_3.2.12_240808_amd64_01.deb
  19. 148708  QQ_3.2.12_240808_amd64_01.deb
  20. [purpleEndurer @ bash ~]
复制代码

说明：
1.利用ls命令检察当前目录内容，只有一个Code目录。
2.利用 curl -C https://dldir1.qq.com/qqfile/qq/QQNT/Linux/QQ_3.2.12_240808_amd64_01.deb 命令开始下载文件，文件大小是145MB。
3.在下载进度到达19%时，按Ctrl + c 终止下载
4. 利用ls命令检察当前目录内容，除了之前已经存在的Code目录，还多了一个文件QQ_3.2.12_240808_amd64_01.deb。
5.利用du命令检察文件QQ_3.2.12_240808_amd64_01.deb的大小，只有22528KB（19M）。
6.利用命令curl -C - -O https://dldir1.qq.com/qqfile/qq/QQNT/Linux/QQ_3.2.12_240808_amd64_01.deb开始断点续传
7.利用利用ls命令检察当前目录内容，仍然只有Code目录和文件QQ_3.2.12_240808_amd64_01.deb。
8.利用du命令检察文件QQ_3.2.12_240808_amd64_01.deb的大小，有148708KB，即145MB。
1.3 利用代理：curl -x 代理服务器地址:端口 统一资源定位符

在很多时候，上网必要用到代理服务器(好比是利用代理服务器上网大概因为利用curl别人网站而被别人屏蔽IP地址的时候)，幸运的是curl提供了-x选项来支持我们设置代理 
  1. [purpleendurer @ bash ~ ] curl -x 127.0.0.1:1080 http://g.cn
  2. curl: (7) Failed connect to 127.0.0.1:1080; Connection refused
  3. [purpleendurer @ bash ~ ] curl -x 127.0.0.1:80 http://g.cn
  4. curl: (7) Failed connect to 127.0.0.1:80; Connection refused
  5. [purpleendurer @ bash ~ ] curl -x 47.92.194.235:4000 http://g.cn
  6. <html><head><title>Easy Restaurant Report System</title></head><body></body></html>
  7. [purpleendurer @ bash ~ ] curl -x 47.92.194.235:4000 http://blog.csdn.net/purpleendurer
  8. <html><head><title>My Foods</title></head><body></body></html>
  9. [purpleendurer @ bash ~ ] curl -x 8.130.74.114:80 http://g.cn
  10. <html><head><title>D-LINK</title></head><body></body></html>
  11. [purpleendurer @ bash ~ ] curl -x 8.130.74.114:80 http://blog.csdn.net/purpleendurer
  12. <html><head><title>PbxHosting | Servicios de Telefonia IP</title></head><body></body></html>
  13. [purpleendurer @ bash ~ ]
复制代码


1.4 指定欣赏器类型和版本：curl -A "欣赏器User-Agent" 统一资源定位符

有些网站必要利用特定的欣赏器去访问，有些还必要利用某些特定的版本。curl提供的-A选项可以让我们指定欣赏器类型和版本去访问网站。
我们以访问csdn.net为例。
1.4.1 正常访问：curl https://www.csdn.net | more

  1. [purpleendurer @ bash ~ ] curl https://www.csdn.net | more
  2.   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
  3.                                  Dload  Upload   Total   Spent    Left  Speed
  4.   0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0<!doctype html><html lang="zh" data-server-rendered="true"><head><title>CSDN - 专业开发者社区</title> <meta name="keywords" content="CSDN博客,CSDN学院,CSDN论坛,CSDN直播"> <meta name="descriptio
  5. n" content="CSDN是全球知名中文IT技术交流平台,创建于1999年,包含原创博客、精品问答、职业培训、技术论坛、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区."> <meta http-equiv="conten
  6. t-type" content="text/html;charset=utf-8"> <meta name="viewport" content="initial-scale=1, maximum-scale=1, user-scalable=no, minimal-ui"> <meta name="referrer" content="always"> <!----> <!----
  7. > <!---->
  8.         <script src="https://g.csdnimg.cn/tingyun/tingyun.js"></script>
  9.        <!----> <!----> <!----> <link rel="shortcut icon" href="https://g.csdnimg.cn/static/logo/favicon32.ico" type="image/x-icon"> <link rel="canonical" href="https://www.csdn.net"> <!---->
  10.           <meta name="toolbar" content={"type":"0","fixModel":"1","model":"normal"} />
  11.       
  12.           <meta name="report" content={"spm":"1000.2115"} />
  13.        <script src="https://g.csdnimg.cn/??lib/jquery/1.12.4/jquery.min.js,user-tooltip/2.7/user-tooltip.js,lib/qrcode/1.0.0/qrcode.min.js"></script> <script src='//g.csdnimg.cn/common/csdn-rep
  14. ort/report.js' type='text/javascript'></script>
  15.          <script src="https://g.csdnimg.cn/user-ordercart/2.0.1/user-ordercart.js?ts=2.0.1"></script>
  16.        <!---->
  17.           <script src="https://g.csdnimg.cn/common/csdn-login-box/csdn-login-box.js" defer></script>
  18.       
  19.          <script src="https://g.csdnimg.cn/user-ordertip/3.0.2/user-ordertip.js?t=3.0.2"></script>
  20.        <!----> <!----> <!----> <!---->
  21.       <script>
  22.         window.TINGYUN && window.TINGYUN.init && window.TINGYUN.init(function (ty_rum) {
  23.           ty_rum.server = {   "event_timeout": 60000,   "dr_threshold": 4000,   "opt_custom_param_rule": [],   "cross_page_delay": 3000,   "router_enable": true,   "fp_threshold": 2000,   "toke
  24. n": "568934913a6343de840a781ca5eaba4b",   "beacon": "wkbrs1.tingyun.com",   "trace_threshold": 7000,   "x_server_switch": true,   "ignore_err": false,   "id": "hWg-u0rE5b8",   "key": "Z1Tu5hoKb
  25. Gw",   "fs_threshold": 4000 };
  26.         });
  27.       </script>
  28.        <!---->
  29.          <script src="https://g.csdnimg.cn/common/csdn-toolbar/csdn-toolbar.js?v=1716884627340" defer></script>
  30.        <!----><link rel="stylesheet" href="https://csdnimg.cn/release/cmsfe/public/css/common.902bcda2.css"><link rel="stylesheet" href="https://csdnimg.cn/release/cmsfe/public/css/tpl/www-inde
  31. x-new/index.1d6c87f8.css"></head> <body><div id="toolbarBox" style="min-height: 48px;"></div> <div id="app"><div><div class="main"><div class="page-container page-component"><div><div class="ho
  32. me_wrap"><div class="content_wrap"><div id="floor-nav_557" floor-index="0"><div comp-data="[object Object]" floor-data="[object Object]" class="blog-nav-tag" data-v-f8e9e086><div class="blog-na
  33. v " data-v-f8e9e086><img src="https://img-home.csdnimg.cn/images/20220107105619.png" alt class="blog-nav-down " data-v-f8e9e086> <div class="blog-nav-box" data-v-f8e9e086><ul class="def" data-v
  34. -f8e9e086><!----> <!----> <!----> <!----> <!----> <!----> <li class="navigation-right " data-v-f8e9e086><a href="https://blog.csdn.net/nav/back-end" data-report-click="{&quot;spm&quot;:&quot;10
  35. 01.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;back-end&quot;}" data-report-view="{&quot;spm&quot;:&quot;1001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;back-end&quot;}" data-v-f8e9e086>
  36. 后端</a></li><li class="navigation-right " data-v-f8e9e086><a href="https://blog.csdn.net/nav/web" data-report-click="{&quot;spm&quot;:&quot;1001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;
  37. web&quot;}" data-report-view="{&quot;spm&quot;:&quot;1001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;web&quot;}" data-v-f8e9e086>前端</a></li><li class="navigation-right " data-v-f8e9e086><
  38. a href="https://blog.csdn.net/nav/mobile" data-report-click="{&quot;spm&quot;:&quot;1001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;mobile&quot;}" data-report-view="{&quot;spm&quot;:&quot;1
  39. 001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;mobile&quot;}" data-v-f8e9e086>移动开发</a></li><li class="navigation-right " data-v-f8e9e086><a href="https://blog.csdn.net/nav/lang" data-re
  40. port-click="{&quot;spm&quot;:&quot;1001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;lang&quot;}" data-report-view="{&quot;spm&quot;:&quot;1001.2100.3001.7366&quot;,&quot;extend1&quot;:&quot;
  41. lang&quot;}" data-v-f8e9e086>编程语言</a></li><li class="navigation-right " data-v-f8e9e086><a href="https://blog.csdn.net/nav/java" data-report-click="{&quot;spm&quot;:&quot;1001.2100.3001.736
  42. --More--
复制代码
 

从反馈的网页代码来看，网页是可以正常欣赏的。 
1.4.2 指定 利用微软IE 6.0 访问：curl -A "Mozilla/4.0 (Windows; MSIE 6.0; Windows NT 5.2)" https://www.csdn.net


  1. [purpleendurer @ bash ~ ] curl -A "Mozilla/4.0 (Windows; MSIE 6.0; Windows NT 5.2)" https://www.csdn.net
  2. <html><body><script language="javascript"> window.onload=setTimeout("cy(173)", 200); function cy(YL) {var qo, mo="", no="", oo = [0xaa,0x07,0x93,0xba,0xa8,0x89,0xb2,0x9a,0x23,0xf0,0x79,0xa8,0x64,0x0d,0xb5,0xdd,0x46,0x2e,0xf5,0xe4,0x94,0xdc,0xa2,0x70,0x8f,0xd4,0xf9,0xa4,0x0b,0xd2,0x36,0x5d,0x26,0x0e,0x75,0x7a,0x6b,0xd2,0x5b,0x82,0x6a,0x59,0x80,0xad,0x3b,0xa9,0xbe,0xac,0xeb,0x79,0xe8,0xf5,0xdd,0x6b,0x8e,0x7c,0xe3,0xcb,0xb9,0x21,0x8f,0x5d,0xe4,0x12,0xe7,0x56,0xa3,0xb8,0xe5,0x6d,0x94,0x85,0xa7,0x16,0x84,0x32,0xa7,0x98,0x32,0x08,0x0f,0x96,0x05,0xf5,0xff,0x07,0x34,0x61,0xd6,0xc7,0xdc,0x0a,0x31,0xa0,0x28,0x2f,0x22,0x77,0xc4,0xd1,0xb9,0x6f,0xa9,0x91,0x00,0xe9,0x5f,0x0d,0x8e,0x9b,0xd0,0x9e,0x6c,0x3a,0xe0,0x2e,0x1c,0x6a,0xa0,0xef,0x6a,0x52,0xa0,0xe5,0x4e,0x53,0x28,0x10,0x35,0x24,0x09,0xb1,0xc5,0x4e,0x1f,0x6e,0xdb,0xf0,0x6b,0x5c,0xc7,0xad,0x55,0x46,0x9b,0xb0,0x7e,0xcd,0x1b,0xb0,0xef,0xfd,0x0b,0xc0,0xce,0xfb,0xc1,0x18,0x67,0x0b,0xf7,0xb9,0x5c,0x8a,0xd9,0xa1,0x4a,0x33,0x15,0x7c,0xe4,0x6d,0x5c,0xec,0x73,0x9a,0xc7,0x8f,0x18,0xa8,0x79,0x02,0xe9,0xb7,0xe5,0x35,0x85,0xca,0x32,0xff,0x48,0x37,0xea,0x9b,0xc9,0x19,0x42,0x2a,0xda,0x02,0xef,0xf4,0xdc,0x8c,0x8d,0xbb,0x61,0xc9,0x52,0x1a,0x48,0xf0,0x96,0x27,0xee,0x97,0xfb,0x23,0x09,0xf1,0xd9,0x62,0x14,0xd9,0x6a,0x33,0xdb,0x03,0x53,0xba,0x88,0xf0,0x91,0x1a,0x3a,0x29,0xe0,0x89,0x9e,0x3b];qo = "qo=238; do{oo[qo]=(-oo[qo])&0xff; oo[qo]=(((oo[qo]>>3)|((oo[qo]<<5)&0xff))-194)&0xff;} while(--qo>=2);"; eval(qo);qo = 237; do { oo[qo] = (oo[qo] - oo[qo - 1]) & 0xff; } while (-- qo >= 3 );qo = 1; for (;;) { if (qo > 237) break; oo[qo] = ((((((oo[qo] + 40) & 0xff) + 248) & 0xff) << 6) & 0xff) | (((((oo[qo] + 40) & 0xff) + 248) & 0xff) >> 2); qo++;}po = ""; for (qo = 1; qo < oo.length - 1; qo++) if (qo % 6) po += String.fromCharCode(oo[qo] ^ YL);eval("qo=eval;qo(po);");} </script> </body></html>[purpleendurer @ bash ~ ]
复制代码

2001年，微软公司推出了IE欣赏器最“经典”的6.0版本，并在2003年走上巅峰，IE欣赏器各个版本占据环球市场95%的份额。那是IE欣赏器的黄金时代。
时过境迁，微软IE 6.0 是很古老的欣赏器了，csdn.net应该不再支持它了，所以返回的代码跟1.4.1不同。



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

灌篮少年

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表