Daily Archives: August 14, 2013

批量下载气象局的气象数据

批量下载中国气象局的气象数据

该站密码保护,登陆进去后,一个数据集可能有很多文件,比如中国地面气候资料日值数据集 v3.0有5952条文件。挨个下载十分累。

借用wget可以较容易实现批量下载。

1. 搜索 wget for windows,下载最新版,注意其bin和dep 都是需要下载的,否则bin不能运行。

2. 登陆进去找到要下载的数据集,比如前面提到的日值地面气候资料。如图。

Image(1)

3. 从中得到下载地址和文件名。形成一个files.txt文件。每行格式是<下载地址><空格><文件名>。

tips,可以使用比如notepad++的replace功能,很容易把不要的内容去掉,保留需要的内容。

4. 新建一个wget1.bat 文件。内容是,

@echo off
.wget-1.11.4-1-binbinwget –post-data="userid=<你的用户名>&password=<你的密码>" –save-cookies=cookie_wget –keep-session-cookies "http://cdc.cma.gov.cn/login.do"
for /F "tokens=1*" %%i in (files.txt) do (
.wget-1.11.4-1-binbinwget –load-cookies=cookie_wget -c %%i -O %%j
)

请注意wget的路径,和 files.txt的路径。如果路径不一致,请对应修改。

第一句是保存合适的cookies,第二句是从files.txt里逐句读取,并通过 wget下载重命名。

5. 在命令行下运行 wget1.bat即可。

Image