Archive for 2010
Google Doodle for My Birthday
刚刚打开Google，发现有了个新的Logo，很像一个蛋糕，点进去是我的profile，原来是来自Google的生日祝福，很贴心。
[ad]
How to exit a Java app gracefully
标题：如何优雅的退出Java程序
本文中信号拦截代码来自下面的博客：
http://twit88.com/blog/2007/09/27/do-a-graceful-shutdown-of-your-java-application-when-ctr-c-kill/
在UNIX下，通常我们结束一个进程，最常用的方式就是使用kill –9 <PID>，这个方法最简单，但是会带来一个问题，程序可能正在执行某些操作，而这些操作不能被突然中断，否则会造成一些资源的泄露，或者数据完整性的问题。
在UNIX下，信号可以被用来解决这个问题，我们应该比较熟悉kill这个命令，通常使用的命令kill –9 中的kill其实不是‘杀死’的意思，而是‘发送’。kill –9 就是把 SIGKILL（数字代码为9）的信号发送到目标进程。在Java中，可以捕获这些信号：
Runtime.getRuntime().addShutdownHook(…);
当我们执行Ctrl+C或者kill命令的时候，信号Handler会被通知到，这个Handler在一个新的线程中（并非主线程），我们可以在这个Handler里面处理资源释放等问题，注意这里的kill没有带参数，其实等同于kill -15，如果使用kill -9就会直接干掉目标进程，资源得不到回收。具体做法可参考上面的链接。
当Java捕捉到SIGTERM信号的时候，它会执行子线程中的shutdown(); 代码，理论上我们可以把资源清理工作放在这里，我们知道，这个信号监听的线程和主线程，分别在处在两个线程中，这里的代码执行完毕后，它并不管主线程里面的代码是否执行完毕，直接就把整个进程结束了。假设我们有一个长循环在主线程中，它可能会在循环没有执行完毕就殒命了。这个不是我们想要的，解决也很简单：在两个线程中增加同步机制就可以了。
尝试一：
设置一个标志位(notifiedMainThreadToExit = false)，当收到SIGTERM信号后，在子线程中设置notifiedMainThreadToExit为true，然后sleep(Long.MAX_VALUE)，主线程轮询这个标识位，一旦发现该变量为true，就退出循环，并且释放资源。
问题出现了：主线程的确退出了，可是子线程一直长眠，这个会导致整个进程都不会退出。后来我在主线程退出前，执行System.exit，问题依旧。理论上：System.exit执行后，它会结束该虚拟机中的所有线程，不知道为什么在这里行不通。
尝试二：
设置两个标识位(notifiedMainThreadToExit = false, notifiedSignalHandlerToExit = false)，当子线程收到信号后，它通知主线程(set notifiedMainThreadToExit = true)：“我收到SIGTERM信号了，你可以准备收工了”，然后，子线程并不马上退出，也不永久休眠，而是轮训等待主线程通知自己。当主线程接受到子线程的通知后，退出循环，然后通知子线程(set notifiedSignalHandlerToExit = true)：“我已经准备好了，你也可以收工了”，这样两个线程都可以正常的退出。
结论：
尝试二是可行的，且两个线程间不会产生Race Condition，因为没有两个线程同时写的问题，所以很安全。这里可以下载例子。最后提醒，文章提到的kill，是不带参数的，不要用kill -9。
[ad]
Inception与程序设计
看《盗梦空间》前，并不知道它的大致讲的是什么样的故事，据说IMDB上的分数很高，下午就特地去科文中心观摩了一下。看完以后，我严重的怀疑编剧是个程序员或者曾经是个程序员。下面我们来简短的分析一下它的Script（脚本）。
植入
电影的主题是“植入”思想，这个其实就是Spring中的IOC – Inversion of Control，所谓的控制翻转，就是将外部的思想注入到内部。
多层的梦
电影中，有一层的梦，两层的梦，三层甚至四层的梦，这个就是函数调用中“栈”，调用的层次越深，系统开销越大，所以Leonardo们不太愿意使用多层调用。
穿越(Kick)
当片中人从深层次的梦回到上一层的梦时，他们使用的技术就是异常(Exception)，注意这里可不是简短的return，return是安静的、正常的，而他们返回上层的梦，用的都是开枪自杀、电梯坠楼这样的非正常行为。而且我们可以注意到，异常只能一层一层的抛出：比如电影的最后，他们先从第四层返回、然后第三层、第二层、最后回到现实。
对于最后Leonardo直接从第四层回到现实中，我怀疑这小子偷偷使用了GOTO语句，虽然我们不推荐使用，但是在坠入水底，这种特殊的情况下，我们还是可以考虑使用这种技术的。
用于同步用的歌声
还记得他们如何通知分布在不同层次的人吗？放一首歌曲。对，这个就是设计模式中的Observer模式。一人放歌，每个层次的人都能收到。
造梦者
还记得Leonardo找Ellen Page干什么的吗？让她去造各种各样的“场景”。Page担任的就是设计模式中的Abstract Factory的作用(请参考其字面意思)。而Leonardo本身并不去造梦，他使用的是代理模式(Proxy)。
Limbo（迷失域）
什么是Limbo，很恐怖的一个地方，你进去了，就很难出来了。程序员通常叫它死锁(Deadlock)，一旦陷进去，等你老的像齐滕（一说为斋藤）那样，你都出不来。
时间的快慢
为什么现实中的时间过的慢，梦中就快呢？你想想啊，电影的Script在计算机中运行的时候，它们是多快啊！车从桥上掉下去的那么短短的10秒钟，可以容许我们执行很多指令。
多人一起做梦
Leo和同伴们是如何一起在梦中交流的呢？他们用的是共享内存(Shared Memory)和进程间通信(Inter-process Communication)技术。我怀疑他们没有使用消息队列和Web Service这类技术，因为这些技术较共享内存这类老的技术，还是显得有些慢，不满足那种惊心动魄的场景。
综上所述，我推断编剧也许大概可能是个程序员，因为他的很多灵感都来自软件开发中的技巧、技术和模式。
[ad]
登山
周日尝试一下登山，顺便锻炼下身体，6点多出发，近10点钟返回，从灵岩山行走至天平山，历时3个多小时。
临近结束，下山的时候，膝盖有些不舒服，之前跑步的扭伤的，还没有好，才知道下山挺伤膝盖的。
上图为领头的两位队员。
– 分割线 –
坎坷的人生，来自家乡的高逸峰：
基于文件系统的生产者和消费者问题
周末的时候和team讨论了下如何用最简单的方式，提高数据文件的单位时间传输吞吐量。下面是一个简单的应用场景：
一个目录(DIR1)，有很多Producer向这个目录里面放文件，同时有很多的Consumer负责从这个目录里面消费这些文件，插入数据库或者做其他的操作，然后删除或者移走这些文件。
假设条件：
- 一个文件中转目录DIR1，这个目录位于一个网络存储上
- 一个生产者，每一秒钟向DIR1里面放一个文件
- 若干个消费者，假设有8个，其实是8个不同的服务器，都可以访问DIR1，多台服务器可以起负载均衡的作用，任何一台或者几台出问题，整个数据流不会中断
- 解析一个文件大约需要2-14秒
- 最后一点：位于网络存储上的目录DIR1，我们认为它是不会出问题的，它不是这里的问题核心
这个场景很普遍，很多公司大概都会用到，尤其是那么比较老的系统(Legacy System)，下面是两种方案：
方案一
Consumer循环扫描DIR1，一旦发现有文件，循环解析这些文件，这里有8台服务器，也就是说有8个Consumer一起这样做。代码如下：
public void run() {
System.out.println("Created consumer:" + threadName);
while (true) {
File file = new File(Constant.STAGING_FOLDER);
File files[] = file.listFiles();
for (int i = 0; i < files.length; ++i) {
File f = files[i];
parse(Constant.STAGING_FOLDER + "/" + f.getName());
}
Commons.sleep();
}
}
看起来很简单，可是上面的代码效率非常的差，多个Consumer有很大的几率拿到相同的文件，当某个Consumer尝试去解析一个文件时，却发现这个文件已经被别的Consumer解析过了，并且文件也都删除或者移走了。这样浪费的很多的CPU时间。
可以用下面的方案来替代：
方案二
public void run() {
System.out.println("Created consumer:" + threadName);
while (true) {
File file = new File(Constant.STAGING_FOLDER);
File files[] = file.listFiles();
int nCapacity = files.length > Constant.CAPACITY ? Constant.CAPACITY
: files.length;
System.out.println(this.threadName + " found " + nCapacity
+ " files");
for (int i = 0; i < nCapacity; ++i) {
File f = files[i];
f.renameTo(new File(Constant.TMP_FOLDER + "/" + f.getName()));
}
for (int i = 0; i < nCapacity; ++i) {
parse(Constant.TMP_FOLDER + "/" + files[i].getName());
}
Commons.sleep();
}
}
它和方案一的不同之处在于：它每次扫描完目录后，最多只取前若干个文件，这里是10个。并且，它不急于去处理文件，而是把文件马上移动到一个临时工作目录，其他的的操作都是相同的。
对于这个方案，有个附加条件：这个临时工作目录tmp，一定要和staging目录在同一个文件系统(filesystem)，这样的话，mv操作就只是修改一下inode，几乎瞬间完成。
比较（Benchmarking)
为了测试两中方案的效率差别，我写了一个模拟程序(http://googlestop.com/download/SimConsumer.7z)，它有7个class：
- App.java - 程序入口
- Commons.java - 共享的函数
- Constant.java – 配置参数
- Producer.java - 生产者，每隔一秒向目录staging里丢一个文件
- AbstractConsumer.java – 抽象消费者，定义消费者的一些基本属性和行为
- Consumer1.java - 具体消费者，实现方案一
- Consumer2.java - 具体消费者，实现方案二
在App.java中，你可以指定调用Consumer1还是Consumer2。
对于前者(Consumer1)，staging目录下的文件数目不停的增长，并且如log显示，有很多冲突：一个Consumer准备处理的文件已经被其他的Consumer处理完了，造成了很多无效的操作，由于消费速度更不上生产速度，DIR1被撑爆只是时间的问题。
对于后者(Consumer2)，staging目录下的文件几乎马上就会被移动到tmp目录下，大部分时间，文件数都为0。而tmp目录下，在程序稳定后大概保存在20多个文件左右，保持一个动态的平衡。用这种方式，你也会看到很多冲突，但是只会发生在程序刚开始，原因是，刚开始的时候，8个线程几乎是同时去访问staging目录，势必拿到很多相同的文件，待到稳定后，就很少有冲突发生了。
这两种方案都是最基本的，没有借助于第三方工具完成的，成本是最低的，其实还有一些其他的方案，可能会借助一些服务来实现，比如消息分发、数据库等。有时间的话，我继续补充。
[ad]
OneNote Anyway with Windows Live Sync and Drop Box
如果你是个Microsoft OneNote的用户，并且可能会在多台电脑上记录笔记，那么一定会遇到如何同步这些笔记的问题，标题中的两个服务可以为我们解决这个问题。一个是Drop Box，官网为：www.dropbox.com ，这个网站在中国大陆目前无法访问(原因大概是中国政府不希望网民使用它来分享信息，任何有利于信息自由流动和传播的服务都难逃此运)。另外一个是Microsoft出品的Live Sync。
方法极其简单：在需要同步的两台电脑上，安装DropBox或者Live Sync，然后将OneNote的目录设置在需要同步的目录里面即可。
对于Drop Box，你需要在hosts文件中添加如下项目：
# 下面的IP不保证长期有效
174.36.30.67 dropbox.com
174.36.30.71 www.dropbox.com
75.101.129.115 dl.dropbox.com
75.101.159.151 dl-web.dropbox.com
174.36.30.67 forums.dropbox.com
对于Live Sync，你要注意的是，如果你的两个系统都是Windows 7或者Vista，建议你安装最新版本的Windows Live Sync，如果其中有一个是Windows XP，那么你只能选择针对XP的老版本的Live Sync。
我会继续介绍一些提高工作效率的方法，即使方法简单的如这篇文章一样，总会有人用的到。
关键字：One Note、同步、笔记、Sync
[ad]
两个周末
上个周末，为了测试一下体力，跑了一个迷你马拉松，大概10多公里的路程，连跑带走，中间还看了一会模型飞机表演。
这个周末，代表公司参加了，2010软件工程技术、产业与人才培养论坛，论坛的名子起的很响亮，大概也就百十来人的规模
上图是来自CMU的John T Grasso(现已离开CMU，他在SEPG的推广上作出了很大的贡献)，在做开篇演讲《Methodology in Software Engineering Education》期间还有一些来自IT界著名和非著名人士做了些专题报告。整个论坛类似于TED，但是比TED更有倾向性，就是软件工程、产业、教育等。
中午吃饭的时候，遇到个老先生，据他说是从美国回来，之前在Bell Labs，刚回国4个月，开了家公司，马上就搞定了3个单子，主要做的是视觉识别类的软件以及产业化，大概是用在Test Handler上的一些技术，据他说前途一片光明，佩服。
[ad]
Mikado Spiel
傍晚去欧尚买盆栽植物，偶然在体育用品货架上发现个怪怪的盒子，里面装了很多小棍子，似乎听别人说过有种棍子游戏，我没有玩过，遂买回来玩玩。
详见说明：
http://de.wikipedia.org/wiki/Mikado_(Spiel)
http://baike.baidu.com/view/718078.htm
[ad]