Tag Archives: utility

将Global AVHRR NDVI 3g转换为ESRI ASCII Grid栅格的Matlab代码

我在前面的帖子(previous post)介绍了用ArcGIS读取GIMMS AVHRR NDVI 3g格式的数据文件的方法,但并不十分好用。所以写了一点代码,用于方便的将之转换为ESRI ASCII Grid栅格,后者可以很容易的被GIS软件支持。

从这个帖子可以下载到相关的代码和样例ndvi3g数据。

注意运行代码需要 Matlab的支持。

Purpose: Convert GIMMS Global AVHRR NDVI 3g files to ESRI ASCII Grid, which is very easy to be accessed with popular GIS software.
Author: Zhuotong Nan ([email protected])
Web: http://nanzt.info
Date: Sep 11,2014

Last update: Nov 3,2014

Please distribute codes with this header attached.

Usage:

type convert_ndvi3g_ascii in Matlab to run

Open convert_ndvi3g_ascii.m, modify the ndvi3gfl variable to make it point to the ndvi 3g file you wanto to convert.

After run, three grid files will be created. One is the grid
corresponding to the 3g data file, the other is the ndvi grid extracted from the 3g data file, and the last one is its associated flag grid.

Files included with this code:

  • convert_ndvi3g_ascii.m, the main matlab script
  • geo82dec15a.n07-VI3g, example avhrr ndvi 3g file
  • geo82dec15a.n07-VI3g.asc, ascii grid file corresponding to geo82dec15a.n07-VI3g
  • geo82dec15a.n07-VI3g.ndvi.asc, ascii grid file of the extracted ndvi
  • geo82dec15a.n07-VI3g.flag.asc, grid file of associated flags
  • header.txt, esri grid header information, used in code
  • Readme.txt, this file.

The meaning of the FLAG:
FLAG = 7 (missing data)
FLAG = 6 (NDVI retrieved from average seasonal profile, possibly snow)
FLAG = 5 (NDVI retrieved from average seasonal profile)
FLAG = 4 (NDVI retrieved from spline interpolation, possibly snow)
FLAG = 3 (NDVI retrieved from spline interpolation)
FLAG = 2 (Good value)
FLAG = 1 (Good value)

Nov 3, 2014
Fix bugs that wrongly computing ndvi.asc and flag.asc

Sep 11, 2014
Initial version

Download codes (9,875KB); Link2 (Baidu)

78ae077b84d7455913382971da7731ef  soft.ndvi3g.11032014.zip

Download codes (6,483KB)

MD5:  006d2d630a5c94f3ca629fc9f751d7f1  soft.ndvi3g.zip

批量下载气象局的气象数据

批量下载中国气象局的气象数据

该站密码保护,登陆进去后,一个数据集可能有很多文件,比如中国地面气候资料日值数据集 v3.0有5952条文件。挨个下载十分累。

借用wget可以较容易实现批量下载。

1. 搜索 wget for windows,下载最新版,注意其bin和dep 都是需要下载的,否则bin不能运行。

2. 登陆进去找到要下载的数据集,比如前面提到的日值地面气候资料。如图。

Image(1)

3. 从中得到下载地址和文件名。形成一个files.txt文件。每行格式是<下载地址><空格><文件名>。

tips,可以使用比如notepad++的replace功能,很容易把不要的内容去掉,保留需要的内容。

4. 新建一个wget1.bat 文件。内容是,

@echo off
.wget-1.11.4-1-binbinwget –post-data="userid=<你的用户名>&password=<你的密码>" –save-cookies=cookie_wget –keep-session-cookies "http://cdc.cma.gov.cn/login.do"
for /F "tokens=1*" %%i in (files.txt) do (
.wget-1.11.4-1-binbinwget –load-cookies=cookie_wget -c %%i -O %%j
)

请注意wget的路径,和 files.txt的路径。如果路径不一致,请对应修改。

第一句是保存合适的cookies,第二句是从files.txt里逐句读取,并通过 wget下载重命名。

5. 在命令行下运行 wget1.bat即可。

Image

十分优秀的快速备份工具DeltaCopy (I)

Zhuotong Nan (南卓铜), [email protected]

为什么要备份?

我有一个同事,几年前博士答辩,当时还是用很早版本的Word,时有doc文件损坏的情况发生,我的同事在答辩前约1个月,就发生了这样不幸的事,博士论文doc损坏打不开了,当时已经写了大概3/4的文字。据他后来讲,当时想死的心都有了。问题出在没有及时备份上。

现在的操作系统越来越稳定,但一些不可预料的问题还有可能发生。如果你的计算机上有很宝贵的数据,那么必须备份,如果数据丢失导致任何损失,都将是自己不可推卸的责任。

备份是如此的重要,但很多人都不够重视。数据丢了,然后开始怨天尤人。为什么不及时备份。

为什么选择DeltaCopy?

市面上有很多优秀的备份工具,如GoodSync, FreeFileSync等,我试用过一些,甚至购买过GoodSync。最终我转向DeltaCopy。DeltaCopy是基于rsync同步协议的可运行在Windows平台上的工具。最主要的理由有这么几条,

1. DeltaCopy/rsync实现增量备份。如果试用过GoodSync就知道,在其有优秀的界面的同时,对于大量文件的传输性能是十分糟糕的。基于rsync的deltacopy支持增量备份,甚至支持二进制层次的增量备份。备份性能十分优秀。

2. 可靠的性能。rsync是linux下的很成熟的备份协议,对于文件改变的侦察可靠,不会出现各种想不到的问题,相比之下FreeFileSync等正在积极的开发中,各种小臭虫在所难免。

3. 开源免费。

4. 很多服务器本身支持rsync。rsync是linux下的基本协议,所以不用在linux服务器或NAS上安装任何东西,就可以直接把内容备份过去。

不好的地方有,

1. 功能单一,就用于备份。不支持向网盘如skydrive同步等。

2. 支持双向同步并不好。比如不能选择性的把一些文件从服务器恢复过来。但如果象我这样只关心把文件源源不断备份到可靠的外部硬盘上,这点可以忽略。

3. 界面一般,甚至粗糙。但够用。

4. 原DeltaCopy(如v1.4)对中文和深路径的支持是有问题的。这些问题可以稍加修改以解决,可以下载我提供的repack包,这些问题已经很好解决。

个人机器的数据备份方案

比你想象的简单的多。任何人都可以承受。

1. 一块外置移动硬盘,数据备份到这块硬盘上。有USB口,最好是USB 3.0,传输速度十分快。当然要求计算机也有USB 3.0的接口。

image

2. 你的计算机,上面有重要数据需要备份。有USB接口。安装有DeltaCopy可执行包。DeltaCopy是装在Windows上面。

一个更理想的备份方案,购买一台小型NAS存储服务器,比如我用的Thecus N4100pro,4块2TB硬盘,RAID 6。但这需要一些投资了。

DeltaCopy安装

提供的是在v1.4基础上的修改包,支持中文环境和深路径。

size: 3.60MB

MD5: 120a368d1cc354c674b74172562340f6  DeltaCopyRaw.v1.4_nzt_repack_20130218.rar

下载后,用WinRAR解压缩到任何目录下(如c:downloads默认的下载目录)下即可,不需要安装。

双击DeltaC可执行程序,应该出来如下面的界面。

image

这是我的配置,可以根据你的需要删除,并新建profile。

DeltaCopy使用

(tbc)

Skype for Android 国际版

无论pc版还是android版,普遍可以下到的是 skype tom版,这个是阉割过的版本,广告,信息过滤。pc版比较好办,登录 vpn(或者任何国外代理)上到skype.com 下载即可(如果不是国外ip,skype.com就自动转到tom上来)。android版本就比较费劲(我没有for mobile的vpn),会要求登录到 google account,而google account 要求绑定你的电话号码,从而下载合适的版本。中国的电话号码绑定给返回tom版本。

从rapidshare上搜索了一下,有人放了一个2.5版本skype for android,还比较新,支持视频。这个地址,http://rapidlibrary.com/files/skype-2-5-0-108-android-apk_39896840.html。进去后点bitshare那个链接,然后,点Regular Download(注意,不是边上广告栏的绿色的DOWNLAD)。等待60秒后(可以看到倒计时),然后点击 蓝色的Start Download即可。

冻土实验大文件处理软件

针对实验出来的大数据文件处理进行了优化,分为三个功能模块,温度数据转换(电阻->温度)、材料力学试验数据转换和冻胀试验数据转换三个功能模块。优化主要体现在,

  1. 逐行处理,理论上不受内存大小限制
  2. 根据可用内存的70%决定load进多少数据进行批量转化
  3. 多线程,根据内存数据多少动态决定线程数
  4. 代码级别上的其他优化

一些截图如下:

主界面


温度转换功能模块界面


力学试验功能模块界面


冻胀试验功能模块界面

Migrate live space to blogger (v1.1.1)

A new version of the live space export utility. The old version can not run because the live space has changed some codes in its web pages. Also some bugs have been fixed in this version.

Download link (v1.1.1):

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/livespaceexport.v1.1.1.zip

md5 sum: 1591c88501470b9292cff39a42eb209d

Please read the readme.txt file included in the zip package before use.

I ONLY MAKE A SIMPLE TEST. PLEASE LET ME KNOW IF THERE STILL IS ANY PROBLEM.

BE SURE SIGN IN YOUR LIVE SPACE WITH YOUR PASSWORD USING YOUR FAVORITE BROWSER BEFORE TRYING TO RETRIEVE LIVE SPACE POSTS.

The previous posts on this tool might be helpful if you are not clear how to set the parameters which are necessary to run the tool.

http://nanzhuotong.blogspot.com/2008/11/move-blog-posts-from-live-space-to.html (figures included to show the parameter configuration)

http://nanzhuotong.blogspot.com/2008/11/live-space.html (in Chinese, figures are also included)

一个获取并查看北京空气质量的工具,数据来自美国北京使馆Twitter

screenshot 
版本(b090627)的截图

功能

  • 从美使馆官方twitter(https://twitter.com/beijingair)上获取最新美国使馆发布的北京空气质量数据
  • 以时间序列图方式直观查看全部的历史数据
  • 提供逐小时和逐日两种方式
  • 数据可以导出至excel格式;图可以导出到常用的图像格式;支持将图和数据拷贝到剪贴板

使用说明,请查看包装包里的Readme.txt文件。

可运行版本下载地址:

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/bjair|_plot|_b090629.zip (最新版,现在客户端上无须要求安装 sql server compact ed.) 1.5MB

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/bjair%7C_plot%7C_b090628.zip (最新版,更新一点bug)

http://cid-0ea641a5a7f665a1.skydrive.live.com/self.aspx/Public/bjair%7C_plot%7C_b090627.zip

需要.net framework 3.5 sp1的支持,如果在你的windows机器上不能运行,请到http://www.microsoft.com/downloads/details.aspx?FamilyID=ab99342f-5d1a-413d-8319-81da479ab0d7 这里下载 .net framework 3.5 sp1并安装到你的机器上。

相关新闻:

美使館Twitter北京空氣質量受歡迎(BBC)

美使馆用Twitter发布北京空气质量监测(财经网)

烟雾笼罩北京 空气质量再成焦点(网易)

美国使馆的北京空气质量

我从BeijingAir twitter网站(https://twitter.com/beijingair)上下载了全部的北京空气质量数据。这些数据是美国驻北京使馆测的,并在他们的twitter网站上实时更新。他们声明说数据只反映使馆所在地小范围的空气质量,而不代表整个北京的情况,他们是目的是为了给使馆工作人员提供有关空气质量的信息。而北京官方发表的空气质量要好于此数据。

空气质量定义见http://www.airnow.gov/index.cfm?action=static.aqguidepart。分,

好 0-50
中等 51-100
对易感人群不好 101-150
不利于健康 151-200
非常不利于健康 201-300
灾难 >300

以下各图横轴是时间,纵轴是北京美国使馆观测点的空气质量指数(其实监测的只有直径2.5微米的悬浮颗粒,此标准与国内监测10微米不一致,所以不能简单地对比这些图与北京的官方通报)。

image
6月份以来的北京逐小时空气质量指标。绿线以上代表了非常不利于健康和灾难性污染。

image
6月份以来的北京逐日平均空气质量指标。

image
08年10月份以来的北京逐小时空气质量指标。达500的重度污染发生次数不少。

image 
08年10月份以来的北京逐日平均空气质量指标。

粗粗一看,好像不是很乐观。至少说明在该监测点情况不是很好。北京的环保还任务艰巨。懒得做进一步的统计分析(比如200以上的天天数比例等)。有些东西还是糊涂些好,不必搞这么清楚。

对本程序感兴趣的,可以与我联系(giscn#msn.com)索取可执行文件和源代码。空气质量数据是直接从twitter网站读取并存在本地数据库。从技术上讲,里面有一些比较感兴趣的东西,以后我会逐渐整理成文档发出来。