Tag Archives: utility

Noah LSM 3.4.1 binaries for Windows

在Windows 10下利用MinGW编译了Noah LSM 3.4.1。可执行包链接如下:

noahlsm-v3.4.1-ming32.zip (Baidu Pan)

包括 driver.exe 对应simple driver版本,urban_driver.exe对应 urban版本。

提供的可执行文件去掉了NetCDF的支持。

更多细节我已经备注到压缩包里的README-more.txt。

MD5码:

8ee77bc180d1a9228212a7485ff17797  noahlsm-v3.4.1-mingw32.zip

README-more.txt

Notice

This is a Noah LSM 3.4.1 version for Windows, compiled with the latest MinGW version (GNU Fortran 6.3.0). I have tested on my Win10 laptop.

NetCDF support has been removed in this binary version due to its huge time costs in compiling with MinGW. You can use ASCII formart to prepare the model drives as demonstrated in the official example data files (bondville.dat). If you prefer to use NetCDF, you have to compile the sources obtained from the offical web site (Goolging Noah LSM).

Credits please go to the group who developed Noh LSM.

Enjoy your research

一个批量将MODIS LST HDF转换为GeoTIFF的工具 v1.02

功能:

  1. 批量转换MODIS地表温度数据(LST)的HDF到GeoTIFF格式
  2. 支持多tiles的mosaic
  3. 支持剪裁(目前只支持指定矩形范围)
  4. 输出指定变量(白天晚上的LST、质量控制、观测时间共6个变量中的若干个)

当前版本 1.02

下载地址见文末。任何问题请向giscn(at)msn.com 报告。 Continue reading

机器学习用于验证码识别

看了几个机器学习的东西,其中一个是Tesseract,ocr可以用于转换图片到文字。这几天在考虑国家自然科学基金,里面查项目一项有个简单的验证码,十分讨厌,所以以这个为例,试着用了一下,写了个小代码。调用了Tesseract用于ocr,Magick convert用于图片转换,识别率还是比较高 (如果对Tesseract专门训练可能效果更好,但我简单看了一下还是蛮复杂的样子)。这意味着理论上我们就可以把国自项目的信息全部爬下来,不过没有时间去弄。

  • Qt 5/ Mingw环境。
  • ImageMagick-7.0.7-22-portable-Q16-x86
  • Tesseract-OCR-4.0.0alpha

一些截图:

Image(2)[4]Image(6)Image(7)Image(8)

新版DeltaCopy: DeltaCopy_rsync3.12

支持Rsync 3.1.2和Cygwin 2.3.1,消除了Windows上的权限问题,其中的rsync, cygwin1等几个包来自cwRsync_5.5.0_x86_Free。我做了简单的repack和测试。

Windows上的权限问题在此文有描述。使用此版本不需要加perms选项。

*我同样试了从最新的Cygwin里提取文件,跟deltacopy放一起不能用,主要chmod的权限问题无法解决。cwRsync里的chmod权限可能做了处理。

a. 如果已经安装了DeltaCopy Service,那么在安装此版本前,需要把原Service卸载掉,方法如下:

1 在控制面板的服务里找到deltacopy server,将之停止

2 管理权限打开cmd

3 运行 sc delte deltacopyservice,会提示删除成功

b. 把DeltaCopy_rsync3.12.zip下载后(下载链接见后文),解压缩到某文件夹。 Continue reading

Captcha Decoder: pwntcha

在cygwin 2.9下重新编译了一下,不容易,遇到各种问题,主要还是代码太老了,库等都跟不上了。最后发现对我关心的事情还是没啥用,它适合的场合还是过于简单。把编译好的程序打包放在这里共享好了(链接在下文)。

pwntcha的主要说明网页在这里:http://caca.zoy.org/wiki/PWNtcha

几种常用的可以搞定的样式如下: Continue reading

GetMODIS: A tool to download MODIS data in a batched manner

GetMODIS
An effective tool to download MODIS data in a batched manner
批量多线程快速下载MODIS数据的工具
Author: Zhuotong Nan @njnu ([email protected])
Date: 1/18/2016

1. Specifiy parameters in the config.ini file upon your needs
the para names are well self-explanatory.
2. Run GetModis.exe

* Param “tiles” should be set for those datasets tiled such as MOD09GA;
and leave it blank or comment it out for datasets with no tiles such as MOD09CMG
* the format for multiple tiles:
“hTile,vTile”,”hTile,vTile”,”hTile,vTile”…
where hTile represent the horizontal tile no, and vTile the vertical tile no.
* set quietmodel to true if you dont like to see the download progress
* larger number of threads will generally increase the download speed. However too
many threads may cause your ip blocked. a value of no more than 10 is advised.

v1.0 1/18/2016
+ intial release

下载地址:百度云盘(Link)

Source codes are available upon request.

移除极长路径工具

名称: Remove Long Path
版本: v1.0 initial release
build: 2014.12.11
南卓铜 Zhuotong Nan ([email protected])
http://nanzt.info

本工具可以移除极长路径。这些路径在Windows资源管理器中无法被删除。目前有一些收费和免费的工具,作者在本机上测试了一个目录深度达1500以上的例子,这些已有工具要不效率低下,要不在运行过程中出现错误(弹出Stop working)。本工具可以有效工作在Windows 32位和64位。

使用方法:

1. 解压缩至一个目录下

2. 在资源管理器里,打开该目录(removelongpath.exe所在目录),按shift的同时点击右键,在弹出菜单里选择“在此打开命令窗口”

3. 在命令窗口里敲入removelongpath.exe,可以看到使用方法提示。

4. 命令格式是 removelongpath [longpath] {time_interval}

[longpath]指定要移除的目录,此目录以下的任何深度的任何子目录和文件均将被删除。如果路径包括空格,请使用双引号。

{time_interval}是删除每个文件或目录的间隔,在Windows下,过快删除将导致系统拒绝后续删除操作。单位是秒,默认是1秒,可以是任何数字甚至小数,比如0.5表示半秒。

例子:removelongpath .temp 0.5

将移除当前目录下的temp目录下的任何子目录和文件。

5. 命令执行时,需要按两次y,由于命令将删除指定下的任何内容,需要格外慎重。除y或Y以外的任何按键,会取消此命令的执行。

Tips:

1. 如果没有删除干净,可以多次重复使用删除。并试着延长设置更长的间隔时间。

当前版本的md5 sum:

4f46c34a349186d1bd8b6cd5085dabdb  removelongpath.exe
c4b4409f186da70fcf2bcc60d5f05489  libgcc_s_dw2-1.dll
dbda60d92e774b4acb3b1cd71f909426  mingwm10.dll
db57cd45846d1b6188412ed69f51eec0  QtCore4.dll

下载:removelongpath.b20141211.zip (百度云盘)

如需源代码,请联系作者。

^_^

Continue reading

将Global AVHRR NDVI 3g转换为ESRI ASCII Grid栅格的Matlab代码

我在前面的帖子(previous post)介绍了用ArcGIS读取GIMMS AVHRR NDVI 3g格式的数据文件的方法,但并不十分好用。所以写了一点代码,用于方便的将之转换为ESRI ASCII Grid栅格,后者可以很容易的被GIS软件支持。

从这个帖子可以下载到相关的代码和样例ndvi3g数据。

注意运行代码需要 Matlab的支持。

Purpose: Convert GIMMS Global AVHRR NDVI 3g files to ESRI ASCII Grid, which is very easy to be accessed with popular GIS software.
Author: Zhuotong Nan ([email protected])
Web: http://nanzt.info
Date: Sep 11,2014

Last update: Nov 3,2014

Please distribute codes with this header attached.

Usage:

type convert_ndvi3g_ascii in Matlab to run

Open convert_ndvi3g_ascii.m, modify the ndvi3gfl variable to make it point to the ndvi 3g file you wanto to convert.

After run, three grid files will be created. One is the grid
corresponding to the 3g data file, the other is the ndvi grid extracted from the 3g data file, and the last one is its associated flag grid.

Files included with this code:

  • convert_ndvi3g_ascii.m, the main matlab script
  • geo82dec15a.n07-VI3g, example avhrr ndvi 3g file
  • geo82dec15a.n07-VI3g.asc, ascii grid file corresponding to geo82dec15a.n07-VI3g
  • geo82dec15a.n07-VI3g.ndvi.asc, ascii grid file of the extracted ndvi
  • geo82dec15a.n07-VI3g.flag.asc, grid file of associated flags
  • header.txt, esri grid header information, used in code
  • Readme.txt, this file.

The meaning of the FLAG:
FLAG = 7 (missing data)
FLAG = 6 (NDVI retrieved from average seasonal profile, possibly snow)
FLAG = 5 (NDVI retrieved from average seasonal profile)
FLAG = 4 (NDVI retrieved from spline interpolation, possibly snow)
FLAG = 3 (NDVI retrieved from spline interpolation)
FLAG = 2 (Good value)
FLAG = 1 (Good value)

Nov 3, 2014
Fix bugs that wrongly computing ndvi.asc and flag.asc

Sep 11, 2014
Initial version

Download codes (9,875KB); Link2 (Baidu)

78ae077b84d7455913382971da7731ef  soft.ndvi3g.11032014.zip

Download codes (6,483KB)

MD5:  006d2d630a5c94f3ca629fc9f751d7f1  soft.ndvi3g.zip

批量下载气象局的气象数据

批量下载中国气象局的气象数据

该站密码保护,登陆进去后,一个数据集可能有很多文件,比如中国地面气候资料日值数据集 v3.0有5952条文件。挨个下载十分累。

借用wget可以较容易实现批量下载。

1. 搜索 wget for windows,下载最新版,注意其bin和dep 都是需要下载的,否则bin不能运行。

2. 登陆进去找到要下载的数据集,比如前面提到的日值地面气候资料。如图。

Image(1)

3. 从中得到下载地址和文件名。形成一个files.txt文件。每行格式是<下载地址><空格><文件名>。

tips,可以使用比如notepad++的replace功能,很容易把不要的内容去掉,保留需要的内容。

4. 新建一个wget1.bat 文件。内容是,

@echo off
.wget-1.11.4-1-binbinwget –post-data="userid=<你的用户名>&password=<你的密码>" –save-cookies=cookie_wget –keep-session-cookies "http://cdc.cma.gov.cn/login.do"
for /F "tokens=1*" %%i in (files.txt) do (
.wget-1.11.4-1-binbinwget –load-cookies=cookie_wget -c %%i -O %%j
)

请注意wget的路径,和 files.txt的路径。如果路径不一致,请对应修改。

第一句是保存合适的cookies,第二句是从files.txt里逐句读取,并通过 wget下载重命名。

5. 在命令行下运行 wget1.bat即可。

Image