论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
主机系统
›
linux
›
基于服务器的MODIS数据下载
基于服务器的MODIS数据下载
惊雷无声
金牌会员
|
9 小时前
|
显示全部楼层
|
阅读模式
楼主
主题
893
|
帖子
893
|
积分
2679
这篇文章给出如今最方便的MODIS数据下载方法。
传统的方式通过访问NASA的数据中心:https://ladsweb.modaps.eosdis.nasa.gov/
具体方法可以参考我前面的一篇文章:https://blog.csdn.net/qq_39085138/article/details/116302600
但是可以发现如果想要处理非常多的数据,还是要耗费不少时间的,还好NASA给了我们另一个可以直接对MODIS数据举行预处理的网站AρρEEARS:https://appeears.earthdatacloud.nasa.gov/
我们可以选择用area来提交渴望下载的地域:
然后按照选择时间、产物、波段、格式(可以直接选择tif)以及投影信息(选择Geographic就是WGS84)。
提交之后如果数据量很大大概需要几个小时的时间才能得到下载链接。
拿到下载链接后,如果文件少的话直接选中所有文件然后点击Download Files,但常常会遇到文件量很大的情况,这种时候可以保存链接文件(Save Download List),然后在服务器上直接用wget的方式举行下载:
打开下载好的Your-download-list.txt,里面就是所有文件的下载链接,但是如果直接使用wget url,会提示服务器拒绝访问,这是由于所有下载文件必须建立在你登录了NASA Earthdata,因此这里我们需要用到AρρEEARS的API接口(https://appeears.earthdatacloud.nasa.gov/api/#authentication)。
首先,我们在服务器登录:
curl --request POST --user your-username:your-password --header "Content-Length: 0" "https://appeears.earthdatacloud.nasa.gov/api/login"
复制代码
然后就可以得到我们的token,将这个token转达到wget中就可以下载Your-download-list.txt里面的链接了,这里为了加速我们同时发起10个进程来下载文件:
cat Your-download-list.txt | xargs -n 1 -P 10 wget --header="Authorization: Bearer YOUR_TOKEN"
复制代码
在我的服务器上,上面展示的64.85GB的文件,一共只用了15分钟就全部下载完毕了!
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
正序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
发新帖
回复
惊雷无声
金牌会员
这个人很懒什么都没写!
楼主热帖
基于 Sealos 的镜像构建能力,快速部署 ...
蚂蚁金服杨军:蚂蚁数据分析平台的演进 ...
超融合走向红海,下一代超融合是新蓝海 ...
记一次实战 Shiro反序列化内网上线 ...
Linux之iptables(NAT表)——实验篇 ...
Linux(CentOs7)基础配置及安装本地yum ...
1亿条数据批量插入 MySQL,哪种方式最 ...
Neo4j
数据湖(一):数据湖概念
【学习笔记】WPF-02:XMAL基础 ...
标签云
存储
挺好的
服务器
快速回复
返回顶部
返回列表