Python核对遥感影像批量下载情况的方法
off999 2025-06-10 17:24 6 浏览 0 评论
本文介绍在批量下载大量遥感影像时，利用Python程序实现已下载影像文件的核对，并自动生成未下载影像的下载链接列表的方法。
批量下载大量遥感影像数据对于GIS学生与从业人员可谓十分常见。然而，对于动辄成千上万景的遥感影像文件，下载过程中可能会出现各类失败问题，且或许在下载软件或工具中还不能很好显示失败的文件有哪些（这一点在批量下载MODIS产品时显得尤为突出，因为目前Landsat、Sentinel这些遥感数据还可以用常见下载软件进行批量下载，但MODIS批量下载却变得越来越麻烦），从而使得最终下载完成后的文件夹中遥感影像文件数量与预期下载数量不符合，即部分影像文件没有下载下来。
针对这种情况，需要我们对缺失的文件加以筛选，并重新生成下载链接并下载；在文件数量很大时，手动实现上述功能显然是不现实的；而我们可以用Python短短几行代码来实现这一过程。
首先，展示代码如下：
import os
all_url_file_path='H:/s2021_3.txt'
download_hdf_file_path='H:/s2021_3_test/'
lost_url_file_path='H:/s2021_3_lost.txt'
download_hdf=os.listdir(download_hdf_file_path)
with open(all_url_file_path,'r') as all_url_file:
all_url=all_url_file.readlines()
for url in all_url:
url_single_hdf=url[63:108]
if url_single_hdf not in download_hdf:
with open(lost_url_file_path,'a') as lost_url_file:
lost_url_file.write(url)其中，all_url_file_path是包含我们全部需要下载的遥感影像下载链接的文件，一般都会是.txt格式（因此如果大家用GEE等方法下载可能就不适用啦）；download_hdf_file_path是存放下载后遥感影像的文件夹，lost_url_file_path是程序生成未下载遥感影像文件下载链接的.txt文件（程序自动创建，大家无需手动建立）。
其实原理很简单，就是依据已下载文件名称和全部链接中的名称进行对比，将为在已下载文件中对比到的影像文件下载链接复制到新.txt文件中。在这里，需要大家的下载链接和遥感影像数据中具有一致且和其它遥感影像数据不重复的部分（一般下载Landsat、MODIS等常见遥感数据产品都满足这一要求），在这里将其称为影像特征段；其中，url[63:108]是提取链接中的影像特征段，大家依据实际情况修改即可，还可以修改为正则表达式的形式；本文中我的遥感影像数据文件名称就是影像特征段自身，因此就没有对遥感影像文件名称加以提取处理，大家基于实际需要修改即可~
相关推荐
- 工程师必备!DeepSeek自动化运维全攻略
-
每天省出3小时，故障自修复+智能监控实战指南导语“总在深夜被报警短信吵醒？教你搭建智能运维体系，让DeepSeek自己管自己！”正文技能1：自动化故障诊断配置智能诊断规则：yaml复制alert_ru...
- Spug - 轻量级自动化运维平台（自动化运维平台 devops）
-
对于中小型企业而言，进行主机和应用的管理是比较麻烦的，应用部署往往需要直接连接服务器，再进行手动的环境配置、代码拉取、应用构建和部署发布等工作，容易出错，且耗时费力。一个好的自动化运维平台，往往能大大...
- 轻量级无 Agent 的一个好用的“小麻雀”自动化运维平台工具!-Spug
-
对于中小型企业而言，进行主机和应用的管理是比较麻烦的，应用部署往往需要直接连接服务器，再进行手动的环境配置、代码拉取、应用构建和部署发布等工作，容易出错，且耗时费力。一个好的自动化运维平台，往往能大大...
- 运维自动化之实用python代码汇总（python自动化运维常用模块）
-
本文总结了运维工作中经常用到的一些实用代码块，方便在需要的时候直接搬过来使用即可1.执行系统命令，获取返回结果fromsubprocessimportPopen,PIPE,STDOUTcp...
- 从代码小白到自动化大师:Python 编程实战
-
昨天我聊了一下关于线性代数、概率统计、微积分核心概念的学习，也花了一些时间恢复一下大学时候学这些的记忆，确实来说数学很有趣也很考验人，兴趣是最好的老师对吧，既然对AI感兴趣，总要认真的学一学，接下来我...
- 锐捷:基于Python TextFSM模块的网络设备自动化运维方法
-
网络设备自动化运维，首先要实现网络设备与自动化运维平台对接，即通过代码实现登录网络设备并获取信息。邮政业科技创新战略联盟单位锐捷自主研发的数据中心交换机产品已全面支持NETCONF协议，可适用于和SD...
- 基于Python+vue的自动化运维、完全开源的云管理平台
-
真正的大师,永远都怀着一颗学徒的心！一、项目简介今天说的这个软件是一款基于Python+vue的自动化运维、完全开源的云管理平台。二、实现功能基于RBAC权限系统录像回放DNS管理配置中心强大的作业调...
- 编程与数学:在Python里怎么用turtle库函数填色?
-
这里只给出一个示例，一个最简单的示例。看懂这个示例，你就能在自己的代码里需要填色的地方填色。首先，与前面发的Python绘画程序一样，先要装入turtle库。然后在代码中，下面需要填色时，先写一个填色...
- Python UV 环境下的 PyKDL 运动学库安装
-
视频讲解：PythonUV环境下的PyKDL运动学库安装_哔哩哔哩_bilibilimujoco-learning这个仓库，改成uv管理环境依赖后，原来的一些包有些缺失，比如之前安装的PyKD...
- python最新版3.11正式发布，有哪些新特色?(3/5)
-
异步任务的语法更完美python编程语言对异步编程的支持一直在改进，比如python2.0版开始就增加了生成器(generator)，在3.4版开始增加了asyncio库，随后在3.5版中...
- 清华北大都在用!Python王者归来(全彩版)
-
纸上得来终觉浅，绝知此事要躬行。今天给大家带来一份由清华大学出版的《python王者归来》。在当下全民互联网，大数据的时代，Python已然成为了学习大数据、人工智能时代的首选编程语言，Python...
- 第六章:Python模块与包（python模块与包与类的关系区别）
-
6.1模块基础6.1.1理论知识模块是一个包含Python定义和语句的文件，其扩展名为.py。模块可以将代码组织成逻辑单元，提高代码的可维护性和复用性。通过将相关的函数、类和变量放在同一个模块中...
- 语言教育项目实战之一:Ubuntu下安装Python环境
-
如下项目，运行在#ubuntu#上，使用#pytho#，从最初环境开始，逐渐深入。此项目以语言学习为主要目的，实现听写、跟读、对话的服务，面向中小学生、大学生、涉外交流人员等。计划通过pyenv管...
- openai-python v1.79.0重磅发布!全新Evals API升级，音频转录终极
-
2025年5月17日，OpenAI官方在GitHub上发布了openai-python库的最新版本——v1.79.0。本次版本重点围绕Evals评估API进行了多项功能完善，同时修复了音频转录接口的重...
- 你真的用对了吗?7个常被误用的Python内置函数及最佳实践
-
你是否曾经在使用多年的工具中突然发现一个新功能，然后感叹：“我怎么一直没发现这个？”没错，今天我们就来体验一把“Python函数版”的这种乐趣。这些函数很可能已经是你日常代码的一部分，但我敢打赌，你并...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 工程师必备!DeepSeek自动化运维全攻略
- Spug - 轻量级自动化运维平台（自动化运维平台 devops）
- 轻量级无 Agent 的一个好用的“小麻雀”自动化运维平台工具!-Spug
- 运维自动化之实用python代码汇总（python自动化运维常用模块）
- 从代码小白到自动化大师:Python 编程实战
- 锐捷:基于Python TextFSM模块的网络设备自动化运维方法
- 基于Python+vue的自动化运维、完全开源的云管理平台
- 编程与数学:在Python里怎么用turtle库函数填色?
- Python UV 环境下的 PyKDL 运动学库安装
- python最新版3.11正式发布，有哪些新特色?(3/5)
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)