Tag Archives: utility

GetMODIS: A tool to download MODIS data in a batched manner

GetMODIS
An effective tool to download MODIS data in a batched manner
批量多线程快速下载MODIS数据的工具
Author: Zhuotong Nan @njnu (giscn@msn.com)
Date: 1/18/2016

1. Specifiy parameters in the config.ini file upon your needs
the para names are well self-explanatory.
2. Run GetModis.exe

* Param “tiles” should be set for those datasets tiled such as MOD09GA;
and leave it blank or comment it out for datasets with no tiles such as MOD09CMG
* the format for multiple tiles:
“hTile,vTile”,”hTile,vTile”,”hTile,vTile”…
where hTile represent the horizontal tile no, and vTile the vertical tile no.
* set quietmodel to true if you dont like to see the download progress
* larger number of threads will generally increase the download speed. However too
many threads may cause your ip blocked. a value of no more than 10 is advised.

v1.0 1/18/2016
+ intial release

下载地址:百度云盘(Link)

Source codes are available upon request.

移除极长路径工具

名称: Remove Long Path
版本: v1.0 initial release
build: 2014.12.11
南卓铜 Zhuotong Nan (giscn@msn.com)
http://nanzt.info

本工具可以移除极长路径。这些路径在Windows资源管理器中无法被删除。目前有一些收费和免费的工具,作者在本机上测试了一个目录深度达1500以上的例子,这些已有工具要不效率低下,要不在运行过程中出现错误(弹出Stop working)。本工具可以有效工作在Windows 32位和64位。

使用方法:

1. 解压缩至一个目录下

2. 在资源管理器里,打开该目录(removelongpath.exe所在目录),按shift的同时点击右键,在弹出菜单里选择“在此打开命令窗口”

3. 在命令窗口里敲入removelongpath.exe,可以看到使用方法提示。

4. 命令格式是 removelongpath [longpath] {time_interval}

[longpath]指定要移除的目录,此目录以下的任何深度的任何子目录和文件均将被删除。如果路径包括空格,请使用双引号。

{time_interval}是删除每个文件或目录的间隔,在Windows下,过快删除将导致系统拒绝后续删除操作。单位是秒,默认是1秒,可以是任何数字甚至小数,比如0.5表示半秒。

例子:removelongpath .temp 0.5

将移除当前目录下的temp目录下的任何子目录和文件。

5. 命令执行时,需要按两次y,由于命令将删除指定下的任何内容,需要格外慎重。除y或Y以外的任何按键,会取消此命令的执行。

Tips:

1. 如果没有删除干净,可以多次重复使用删除。并试着延长设置更长的间隔时间。

当前版本的md5 sum:

4f46c34a349186d1bd8b6cd5085dabdb  removelongpath.exe
c4b4409f186da70fcf2bcc60d5f05489  libgcc_s_dw2-1.dll
dbda60d92e774b4acb3b1cd71f909426  mingwm10.dll
db57cd45846d1b6188412ed69f51eec0  QtCore4.dll

下载:removelongpath.b20141211.zip (百度云盘)

如需源代码,请联系作者。

^_^

Continue reading

将Global AVHRR NDVI 3g转换为ESRI ASCII Grid栅格的Matlab代码

我在前面的帖子(previous post)介绍了用ArcGIS读取GIMMS AVHRR NDVI 3g格式的数据文件的方法,但并不十分好用。所以写了一点代码,用于方便的将之转换为ESRI ASCII Grid栅格,后者可以很容易的被GIS软件支持。

从这个帖子可以下载到相关的代码和样例ndvi3g数据。

注意运行代码需要 Matlab的支持。

Purpose: Convert GIMMS Global AVHRR NDVI 3g files to ESRI ASCII Grid, which is very easy to be accessed with popular GIS software.
Author: Zhuotong Nan (giscn@msn.com)
Web: http://nanzt.info
Date: Sep 11,2014

Last update: Nov 3,2014

Please distribute codes with this header attached.

Usage:

type convert_ndvi3g_ascii in Matlab to run

Open convert_ndvi3g_ascii.m, modify the ndvi3gfl variable to make it point to the ndvi 3g file you wanto to convert.

After run, three grid files will be created. One is the grid
corresponding to the 3g data file, the other is the ndvi grid extracted from the 3g data file, and the last one is its associated flag grid.

Files included with this code:

  • convert_ndvi3g_ascii.m, the main matlab script
  • geo82dec15a.n07-VI3g, example avhrr ndvi 3g file
  • geo82dec15a.n07-VI3g.asc, ascii grid file corresponding to geo82dec15a.n07-VI3g
  • geo82dec15a.n07-VI3g.ndvi.asc, ascii grid file of the extracted ndvi
  • geo82dec15a.n07-VI3g.flag.asc, grid file of associated flags
  • header.txt, esri grid header information, used in code
  • Readme.txt, this file.

The meaning of the FLAG:
FLAG = 7 (missing data)
FLAG = 6 (NDVI retrieved from average seasonal profile, possibly snow)
FLAG = 5 (NDVI retrieved from average seasonal profile)
FLAG = 4 (NDVI retrieved from spline interpolation, possibly snow)
FLAG = 3 (NDVI retrieved from spline interpolation)
FLAG = 2 (Good value)
FLAG = 1 (Good value)

Nov 3, 2014
Fix bugs that wrongly computing ndvi.asc and flag.asc

Sep 11, 2014
Initial version

Download codes (9,875KB)

78ae077b84d7455913382971da7731ef  soft.ndvi3g.11032014.zip

Download codes (6,483KB)

MD5:  006d2d630a5c94f3ca629fc9f751d7f1  soft.ndvi3g.zip

批量下载气象局的气象数据

批量下载中国气象局的气象数据

该站密码保护,登陆进去后,一个数据集可能有很多文件,比如中国地面气候资料日值数据集 v3.0有5952条文件。挨个下载十分累。

借用wget可以较容易实现批量下载。

1. 搜索 wget for windows,下载最新版,注意其bin和dep 都是需要下载的,否则bin不能运行。

2. 登陆进去找到要下载的数据集,比如前面提到的日值地面气候资料。如图。

Image(1)

3. 从中得到下载地址和文件名。形成一个files.txt文件。每行格式是<下载地址><空格><文件名>。

tips,可以使用比如notepad++的replace功能,很容易把不要的内容去掉,保留需要的内容。

4. 新建一个wget1.bat 文件。内容是,

@echo off
.wget-1.11.4-1-binbinwget –post-data="userid=<你的用户名>&password=<你的密码>" –save-cookies=cookie_wget –keep-session-cookies "http://cdc.cma.gov.cn/login.do"
for /F "tokens=1*" %%i in (files.txt) do (
.wget-1.11.4-1-binbinwget –load-cookies=cookie_wget -c %%i -O %%j
)

请注意wget的路径,和 files.txt的路径。如果路径不一致,请对应修改。

第一句是保存合适的cookies,第二句是从files.txt里逐句读取,并通过 wget下载重命名。

5. 在命令行下运行 wget1.bat即可。

Image

十分优秀的快速备份工具DeltaCopy (I)

Zhuotong Nan (南卓铜), giscn@msn.com

为什么要备份?

我有一个同事,几年前博士答辩,当时还是用很早版本的Word,时有doc文件损坏的情况发生,我的同事在答辩前约1个月,就发生了这样不幸的事,博士论文doc损坏打不开了,当时已经写了大概3/4的文字。据他后来讲,当时想死的心都有了。问题出在没有及时备份上。

现在的操作系统越来越稳定,但一些不可预料的问题还有可能发生。如果你的计算机上有很宝贵的数据,那么必须备份,如果数据丢失导致任何损失,都将是自己不可推卸的责任。

备份是如此的重要,但很多人都不够重视。数据丢了,然后开始怨天尤人。为什么不及时备份。

为什么选择DeltaCopy?

市面上有很多优秀的备份工具,如GoodSync, FreeFileSync等,我试用过一些,甚至购买过GoodSync。最终我转向DeltaCopy。DeltaCopy是基于rsync同步协议的可运行在Windows平台上的工具。最主要的理由有这么几条,

1. DeltaCopy/rsync实现增量备份。如果试用过GoodSync就知道,在其有优秀的界面的同时,对于大量文件的传输性能是十分糟糕的。基于rsync的deltacopy支持增量备份,甚至支持二进制层次的增量备份。备份性能十分优秀。

2. 可靠的性能。rsync是linux下的很成熟的备份协议,对于文件改变的侦察可靠,不会出现各种想不到的问题,相比之下FreeFileSync等正在积极的开发中,各种小臭虫在所难免。

3. 开源免费。

4. 很多服务器本身支持rsync。rsync是linux下的基本协议,所以不用在linux服务器或NAS上安装任何东西,就可以直接把内容备份过去。

不好的地方有,

1. 功能单一,就用于备份。不支持向网盘如skydrive同步等。

2. 支持双向同步并不好。比如不能选择性的把一些文件从服务器恢复过来。但如果象我这样只关心把文件源源不断备份到可靠的外部硬盘上,这点可以忽略。

3. 界面一般,甚至粗糙。但够用。

4. 原DeltaCopy(如v1.4)对中文和深路径的支持是有问题的。这些问题可以稍加修改以解决,可以下载我提供的repack包,这些问题已经很好解决。

个人机器的数据备份方案

比你想象的简单的多。任何人都可以承受。

1. 一块外置移动硬盘,数据备份到这块硬盘上。有USB口,最好是USB 3.0,传输速度十分快。当然要求计算机也有USB 3.0的接口。

image

2. 你的计算机,上面有重要数据需要备份。有USB接口。安装有DeltaCopy可执行包。DeltaCopy是装在Windows上面。

一个更理想的备份方案,购买一台小型NAS存储服务器,比如我用的Thecus N4100pro,4块2TB硬盘,RAID 6。但这需要一些投资了。

DeltaCopy安装

提供的是在v1.4基础上的修改包,支持中文环境和深路径。

size: 3.60MB

MD5: 120a368d1cc354c674b74172562340f6  DeltaCopyRaw.v1.4_nzt_repack_20130218.rar

下载后,用WinRAR解压缩到任何目录下(如c:downloads默认的下载目录)下即可,不需要安装。

双击DeltaC可执行程序,应该出来如下面的界面。

image

这是我的配置,可以根据你的需要删除,并新建profile。

DeltaCopy使用

(tbc)

Skype for Android 国际版

无论pc版还是android版,普遍可以下到的是 skype tom版,这个是阉割过的版本,广告,信息过滤。pc版比较好办,登录 vpn(或者任何国外代理)上到skype.com 下载即可(如果不是国外ip,skype.com就自动转到tom上来)。android版本就比较费劲(我没有for mobile的vpn),会要求登录到 google account,而google account 要求绑定你的电话号码,从而下载合适的版本。中国的电话号码绑定给返回tom版本。

从rapidshare上搜索了一下,有人放了一个2.5版本skype for android,还比较新,支持视频。这个地址,http://rapidlibrary.com/files/skype-2-5-0-108-android-apk_39896840.html。进去后点bitshare那个链接,然后,点Regular Download(注意,不是边上广告栏的绿色的DOWNLAD)。等待60秒后(可以看到倒计时),然后点击 蓝色的Start Download即可。

冻土实验大文件处理软件

针对实验出来的大数据文件处理进行了优化,分为三个功能模块,温度数据转换(电阻->温度)、材料力学试验数据转换和冻胀试验数据转换三个功能模块。优化主要体现在,

  1. 逐行处理,理论上不受内存大小限制
  2. 根据可用内存的70%决定load进多少数据进行批量转化
  3. 多线程,根据内存数据多少动态决定线程数
  4. 代码级别上的其他优化

一些截图如下:

主界面


温度转换功能模块界面


力学试验功能模块界面


冻胀试验功能模块界面

Migrate live space to blogger (v1.1.1)

A new version of the live space export utility. The old version can not run because the live space has changed some codes in its web pages. Also some bugs have been fixed in this version.

Download link (v1.1.1):

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/livespaceexport.v1.1.1.zip

md5 sum: 1591c88501470b9292cff39a42eb209d

Please read the readme.txt file included in the zip package before use.

I ONLY MAKE A SIMPLE TEST. PLEASE LET ME KNOW IF THERE STILL IS ANY PROBLEM.

BE SURE SIGN IN YOUR LIVE SPACE WITH YOUR PASSWORD USING YOUR FAVORITE BROWSER BEFORE TRYING TO RETRIEVE LIVE SPACE POSTS.

The previous posts on this tool might be helpful if you are not clear how to set the parameters which are necessary to run the tool.

http://nanzhuotong.blogspot.com/2008/11/move-blog-posts-from-live-space-to.html (figures included to show the parameter configuration)

http://nanzhuotong.blogspot.com/2008/11/live-space.html (in Chinese, figures are also included)

一个获取并查看北京空气质量的工具,数据来自美国北京使馆Twitter

screenshot 
版本(b090627)的截图

功能

  • 从美使馆官方twitter(https://twitter.com/beijingair)上获取最新美国使馆发布的北京空气质量数据
  • 以时间序列图方式直观查看全部的历史数据
  • 提供逐小时和逐日两种方式
  • 数据可以导出至excel格式;图可以导出到常用的图像格式;支持将图和数据拷贝到剪贴板

使用说明,请查看包装包里的Readme.txt文件。

可运行版本下载地址:

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/bjair|_plot|_b090629.zip (最新版,现在客户端上无须要求安装 sql server compact ed.) 1.5MB

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/bjair%7C_plot%7C_b090628.zip (最新版,更新一点bug)

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/bjair%7C_plot%7C_b090627.zip

需要.net framework 3.5 sp1的支持,如果在你的windows机器上不能运行,请到http://www.microsoft.com/downloads/details.aspx?FamilyID=ab99342f-5d1a-413d-8319-81da479ab0d7 这里下载 .net framework 3.5 sp1并安装到你的机器上。

相关新闻:

美使館Twitter北京空氣質量受歡迎(BBC)

美使馆用Twitter发布北京空气质量监测(财经网)

烟雾笼罩北京 空气质量再成焦点(网易)

美国使馆的北京空气质量

我从BeijingAir twitter网站(https://twitter.com/beijingair)上下载了全部的北京空气质量数据。这些数据是美国驻北京使馆测的,并在他们的twitter网站上实时更新。他们声明说数据只反映使馆所在地小范围的空气质量,而不代表整个北京的情况,他们是目的是为了给使馆工作人员提供有关空气质量的信息。而北京官方发表的空气质量要好于此数据。

空气质量定义见http://www.airnow.gov/index.cfm?action=static.aqguidepart。分,

好 0-50
中等 51-100
对易感人群不好 101-150
不利于健康 151-200
非常不利于健康 201-300
灾难 >300

以下各图横轴是时间,纵轴是北京美国使馆观测点的空气质量指数(其实监测的只有直径2.5微米的悬浮颗粒,此标准与国内监测10微米不一致,所以不能简单地对比这些图与北京的官方通报)。

image
6月份以来的北京逐小时空气质量指标。绿线以上代表了非常不利于健康和灾难性污染。

image
6月份以来的北京逐日平均空气质量指标。

image
08年10月份以来的北京逐小时空气质量指标。达500的重度污染发生次数不少。

image 
08年10月份以来的北京逐日平均空气质量指标。

粗粗一看,好像不是很乐观。至少说明在该监测点情况不是很好。北京的环保还任务艰巨。懒得做进一步的统计分析(比如200以上的天天数比例等)。有些东西还是糊涂些好,不必搞这么清楚。

对本程序感兴趣的,可以与我联系(giscn#msn.com)索取可执行文件和源代码。空气质量数据是直接从twitter网站读取并存在本地数据库。从技术上讲,里面有一些比较感兴趣的东西,以后我会逐渐整理成文档发出来。