因为路途遥远，下班后不敢耽搁，直接出发，一路公交+地铁，六点半赶到五道口，饥饿难耐，在 KFC 解决了一下自己的肚子问题，然后匆匆赶往清华科技园的 Yahoo 北京研发中心。

走到电梯间，发现了周六见过的印裔老哥，估计这就是今天的主讲人Milind Bhandarkar了，于是上前搭讪，说明自己是中国移动的搞 hadoop 的同学，特地慕名前来参加 hadoop 的活动的，简单寒暄了几句，大意是说周六的活动很盛大，问问他停留多久，还去了啥地方啥的，别的不说了，总之，印度口音让我对今晚的活动有点怯意。

到门口的时候看到了刘江老师，可能是上周电话确认的时候我没接到电话，所以签到表里并没有我的名字，厚着脸皮签了个名就进去了，这时就差不多七点了。进到会场，发现已经来了不少人了，差不多坐满了，不过后来还有不少陆陆续续赶到的同学，我还不算是晚的，呵呵。

在刘江老师和Yahoo的东道主们致辞之后，介绍就正式开始了。Milind 今天的主要话题是 Hadoop 调优，面向 MapReduce 应用，实际上从08年底09年初的某项目之后一年半多的时间里，我的重点都不在调优上，所以今天的话题不是很在行，基本就是来学习一下，不准备吭声了，话题里，有这么几个点还是值得一说的，时间顺序：

• Milind 的工作是做 Job 无关的调优，或者说 Job 的实现是个黑箱，主要根据系统运行参数进行调优，通过配置，使应用相对于基线效率有较大提升；
• 首先是 Map/Reduce 的数量和性能优化的关系，Map 任务越多，并行度就越高，但调度开销也越高，这是需要 trade-off 的；而 Reduce 则要有所保留，不要占满所有能力，为重复执行留出一部分能力空余来；
• 然后是内存分配方面，通过设置buffer，（Map 端的 io.sort.mb 和 Reduce 端的几个参数）尽量降低本地磁盘读写；
• 还有使用 combiner ，通过 map 端的提前聚合，降低 map 与 reduce 任务间的通信量；
• 当然还有使用压缩，减少通信，节约磁盘开销。
• 此外，还在最后总结时提到了 DistributedCache 的使用。

讲座中，还介绍了一个 hadoop 诊断工具 vaidya。

这里是一张照片，嗯，是内容的最后一页，总结一些经验的

这是我今天拍的唯一一张能看得到字的，不是因为我坐的太远，是因为……我的手机相机一直工作在微距的状态……FML，调回自动状态，并擦了擦镜头后，终于拍到一张能看到字的……

在完成之后的提问环节，比较引起我关注的是关于 scheduler 的问题，毕竟同事小郭也做了这方面的工作，Yahoo 在使用的是 Capacity Scheduler，用于给不同的用户分配处理能力，这方面我们可能有参考或经验，不过要回去请教小郭才知道。

此外，又有人提到 NameNode 的 SPoF 问题了，这次 Milind 十分慷慨地介绍说中国移动也有哥们搞这个，我就接过话题说了一下我们当前的状态和下一步考虑一起共建 trunk 中的 HA 的考虑。这个问题上，我想我低估需求了，虽然技术上实际上问题的严重性并不高，但人们的心魔难祛，这个功能实际的需求（包括心理需求）是很强烈的，我应该在上面再花点精力努力一下。

也正因为这下曝光了我的垄断国企雇员身份，引来无数目光，嗯，我干的确实还不够好，有点对不起大家的话费了。

往外走的时候，刘江老师建议我们写写我们的Hadoop方面的工作，呵呵，真是有些惭愧，担心拿不出手啊。在门口还和优酷、Yahoo中国的朋友交流了半天，快10点才出门，觉得今天不仅收获到了些知识，还增加了很多动力。

回想一下这几天参见的 HIC2010 和 TUP，我先后向 Facebook、Yahoo 和国内同行朋友们介绍了我们在 NameNode HA 和 DataNode 卷管理方面的工作，但这些工作在受到一定瞩目的同时还有很多不成熟的地方，我得抓紧时间、集中精力，作出更大贡献才对得起自己、对得起大家。希望我们的工作更多地出现在官方的代码仓库里。

关于大会组织

这次 HIC2010 的会场选在了文津国际酒店，地理位置比去年的计算所更便利，组织者也花费了很大心思在布展上，但分会场的位置都不是很好找，标识也不够醒目，导致我、@acumon 和几个其他的讲演者在找自己的会场的时候都有点困难，呵呵。

这次来的公司里，多了EMC、VMWare这样的厂商，没有听VMWare的发言，也不知道他们到底是来做什么的，既然交了赞助费，应该不是来踢场子的。Hadoop主要参与者Yahoo和Facebook都来了很多人，Yahoo来了他们的VP，Facebook的华人团队更是差不多全来了，不过没看见上次见过的海荣有点遗憾。比较意外的是，Cloudera这次完全缺席，不知是主办方的问题还是Cloudera自己的问题，上次他们不仅有大佬来，还有培训。

对于演讲的topic，没什么可挑剔的，大家都很务实，介绍了自己的工作，不过每个topic的时间限制太短了，大部分讲演者都不自觉地超时了，我的讲演拖了大概十分钟，@acumon 同学的也差不多这个情况，差不多每个分会场都是如此，我觉得每个topic安排40分钟可能更合理一些。

关于交流

交流时此次来的主要目的，有些人是久仰大名的，比如 @turingbook 老师，有些是来之前知道也会前来的同行，比如 @acumon，有些是原来工作中有过交流但素未谋面的，比如Facebook的邵征和Intel的Jason Dai，这次都见到真身而且搭上讪了，非常兴奋。

因为时间关系，没有听到 Facebook 的Scott Chen的讲演，本来非常遗憾，不过快出门时看到Facebook一干大神正在门口聊天，赶快上来搭讪，和Scott Chen就HDFS进行了一些交流。同时还和另外几位百度的同学相谈甚欢，收货不少。

今天最大的收获差不多是向很多人，包括facebook的邵征和Scott Chen推出了我的最近的工作：DataNode 在线磁盘更换功能，他们也非常有兴趣，我得抓紧时间把这个patch附到JIRA上去了。

此外，今天着重还听了一下IBM CRL的邱杰的工作，因为和我的一些工作有很强的相关性，不过因为他下课后没直接出来，没有搭上讪算是唯一的遗憾了吧，争取以后有机会联系一下。

后记

最后，感觉还是北京有相当几个真做Hadoop的同学的，至少我们、百度、IBM都有，阿里巴巴、腾讯似乎也有，今天没见到，应该搞些小规模的真正的开发者的民间聚会了，就像linuxfb一样。开源技术交流非常有趣，非公司之间、非竞争性、非盈利性，纯粹的个体间技术交流，互相促进、共同繁荣。

嗯，先这些吧。

周末，钱包丢了，没pp没真相，可是我真的没办法找来钱包拍遗照了 ~~>_<~~

哭诉部分

最大的可能性是在饭馆的时候，我带儿子去洗手，老婆专心点餐的时候被人摸了，另有可能 a) 路上被人摸了；b) 儿子大逆不道地拉开我的包的拉锁，把钱包放走了。当然，这些可能性都很小。中午记录如下：

gnawux 中午吃饭把钱包丢了，刚挂失了四张信用卡，一张借记卡，损失三百元，包括挂失补卡费用一百多，现金一百元，钱包自身不足百元 #FML about 1 day ago from twicca

十分郁闷，而且中午饭没吃好。不幸中的万幸是听从了兰总的建议，证件和钱包分开，所以身份证和驾照都还在。

四家银行挂失业务比较

参评银行（按拨打热线电话顺序）：

• 中国银行：信用卡一张
• 民生银行：信用卡一张（白金卡）
• 工商银行：信用卡一张、借记卡一张
• 中信银行：信用卡一张

挂失服务客户满意度评比顺序（以挂失人当时的心情排序）：中信银行>中国银行>民生银行>>>>工商银行。以下是具体评测项目：

• 速度：挂失就是比速度，速度是影响客户心情的最主要方面。在这方面，中信银行微弱优势胜出，工商银行十分恶劣。
• 中信银行（5分）：菜单第一项就是挂失，直接接入专员，而且根据手机可以知道用户身份，无需多说，荣膺最高分。
• 中国银行（4.9分）：菜单第二项是挂失，仅仅这么小的差距，第一项是开卡。
• 民生银行（3.5分）：进入菜单前先要求输入电话密码了，不过之后就可以接入专员挂失了。
• 工商银行（1分）：似乎没有专门的信用卡电话，95588时，没有听到直接挂失的 IVR 菜单，要求输入卡号和密码进入，然后……
• 人工是菜单第9项，我听了半天才找到这个选项，并且人工要等待半天
• 坐席居然让心急如焚的我选择是先挂失借记卡还是信用卡，在我表示无所谓、要快的时候，还是执意要我选择
• 在我要选择信用卡时才知道居然要再转接一次，只好先挂失借记卡，在当时的心境下，坐席人员的话只能让人感到罗嗦
• 信用卡客服居然也要我背一遍卡号……他们没有我的信息么？！有几个像我一样能背下来的？
• 功能：挂失方面，如果有临时冻结功能，会对很多心存侥幸的丢卡人有很好的心理安慰
• 中信银行（5分）：提供冻结24小时功能。
• 其他（4分）：不提供或没主动告诉我。
• 服务与信息：即使、准确而不拖沓的信息是你最需要的，而不是复杂的解释性信息：
• 中国银行、民生银行、中信银行（4.5分）：都不错，挂失费用说明、影响说明和最近消费记录，都是用户关心的内容，充分、扼要，满足用户需求。
• 工商银行（3分）：说了很多无关信息，但关键的最近消费之类的信息却不主动告诉我，当然，我承认，我在给工行打电话的时候十分焦躁，那是因为他们在耽误我的时间，我当时还没打中信的电话呢，万一他们罗嗦的时候被人盗刷，我岂不是郁闷死了。
• 费用：挂失和补卡的费用也是一个比较因素，除了影响心情外，还影响你的最终损失，当然，当时急着挂失，可能没记清楚
• 民生银行（5分）：白金卡补卡似乎不收费？
• 工商银行（4分）：收费，但多少忘了，似乎不太多
• 中国银行（3分）：挂失和补卡各一份费用，多少忘了，共五六十吧
• 中信银行（3分）：大约60

结论：

• 如果你像我一样工资卡是工行的，有张工行的信用卡是方便一些，但是，放在家里网银购物用就行了，没事别带着出去溜。
• 如果能有一张民生白金卡的话，挂失补卡似乎是免费的，这个够有吸引力的吧。
• 中国银行和中信银行的挂失服务差不多，中信略胜一筹，可以让你更放心。
• 最后，钱包里别放身份证，这点确实很重要，当然，尽管如此，还是请大家多小心，注意人身和财产安全。

人物上的亮点

今天人物上的一号亮点无疑是wks，这包括他是今天的主角、我对他在haskell/scala方面的无限崇拜等等各种因素，不过，我还是要说一下他的不足之处：

• 讲座的主线和范围不够清晰和集中——跑火车这个在我们这里不算是错事，不过，wks还是让我在整个讲座过程中都无法知道他到底要讲多少东西，以至于结束的时候感觉戛然而止，以为还应该有很多呢；
• 不能很好地抓住听众的问题——实际上 bergwolf 的问题和 wks 的回答几乎一直都没对上，wks 似乎一直没有抓住 bergwolf 到底在问什么，知道最后大家一拥而上的时候，bergwolf 的问题才被明确回答。事实上，作为shanghai LSF 的受邀嘉宾，bergwolf 对文件系统的领悟在 linuxfb 范围内已经达到了一人之下、其他之上的地步，wks 如果仔细听一下应该可以知道他问的是什么的。
• 有一点紧张——不像之前几次版聚的时候那么闲庭信步了，呵呵。

不过，总的讲，还是很不错的，以至于成了差不多唯一的主角，呃……另一位主讲是谁来着？下次一定要上台讲啊，光做人肉翻页器可不行啊，也得上来被大家虐啊——不过，他回答bergwolf的问题的时候倒是蛮一针见血的，更加简单直接。

人物上的其他亮点都集中在Coly不知从何而来的幻灯片上，对了，bergwolf真的结婚了么？那我们以后调侃的话题不就少了么？

内容：Btrfs

说到内容，btrfs是我此行的唯一目标，通过wks的讲解，我理解了这么几个问题：

• btr原来是B-Tree
• btrfs实现了多个物理磁盘弄在一起的功能，但我觉得这个功能有点过了，尽管有coly的支持，我仍然觉得这个支持有点过于铺张了一些
• btrfs创建文件系统很快——这个上次我在测试SSD的时候实际亲手见识过了，不过忘了
• 根据我的理解，btrfs的subvolume就是为了支持snapshot而提供的功能，至于能提供多个tree做不同的挂载点这一点，我觉得75%-80%的意义上说是副产品
• btrfs的snapshot很好很强大
• 一口气在目录下可以建立一万个文件，嗯，wks手很快，那个命令行似乎是 touch {1..10000}，中间几个点没看清，反正我没用过
• btrfs的用户态工具命令行功能很强大

嗯，差不多了，最后是

致谢

感谢wks和他的师父coly。

http://hadoop.apache.org/common/docs/r0.21.0/releasenotes.html
8 月23日，Hadoop 0.21发布，距离上一个版本0.20的发布已经过去了16个月，而之前两个版本，从0.18到0.20也仅仅用了一半的时间，8个月。这个千呼万唤始出来的版本是Hadoop发展历史上的一个重要里程碑，但是，很可能将成为一个过渡版本，而不会被广泛使用。

Hadoop 0.21有一个代码结构上的大调整，HDFS和MapReduce分离成了两个独立的子项目，而公共部分，如 RPC 和一些辅助工具则由 Common 子项目来完成，这一拆分是造成发布姗姗来迟的主要原因之一。这一版本在功能上的新特征包括：支持Backup Node来改善NameNode的单点问题，扩大了新MapReduce API的支持范围，提供了新的 FileContext API等，同时对测试框架进行了改进，引入了新的自动测试框架Herriot。

尽管从结构上和开发框架上有了很多调整，但从功能看，Hadoop 0.21.0 实际上只是 0.20.2+，在接口上保持了和 0.20.2 的兼容性，新增加的功能或者比较有限，或者还在完善中，很重要的安全方面的功能 Kerberos 的支持也要到 0.22 才会提供，因此，包括 Yahoo 在内的很多重要用户都表示很可能会跳过 0.21 而在 0.22 成熟时直接演进到 0.22，0.21 的前途尚不明朗，它很可能只是 0.22 前进路上的一个重要的铺路石。

Cassandra 0.7.0-beta1和0.6.5发布

https://svn.apache.org/repos/asf/cassandra/tags/cassandra-0.7.0-beta1/NEWS.txt
开源分布式非关系型数据库NoSQL一直在我们的视野之中，自从成为Apache项目以来，发展十分迅速，当然也经历了一些波折，面对着一些质疑，此次 0.7.0 beta的发布，使他再次出现在我们的视野之中，0.7中，行的尺寸从2GB提升到了20亿列，同时增加了输出到Hadoop的输出格式，便于两者的互动，此外，还在功能和性能上进行了很多其他改进。

OpenStack 社区迅速成长

http://openstack.org/blog/2010/08/openstack-community-update/
如果说上半年的明星项目是Cassandra的话，迄今为止，下半年的明星项目当属RackSpace和NASA在7月联合发布的OpenStack，一个多月来，这个项目一直留在我们的视野当中，并于8月25日举行了一次聚会。目前，OpenStack的计算部分（Nova）支持了KVM、Xen和 VirtualBox三种虚拟机，而存储部分则开始进行对象存储系统swift的开发。这些具体的工作让 OpenStack 开始逐步走向现实。

url=http://www.amazon.cn/gp/item-dispatch?submit.addToCart=addToCart; inc=1; sed -ne ‘s/.*\(B0[0-9A-Z]\{8\}\).*/\1/p’ Book1.csv | while read bookid; do url=`echo ${url}\&asin.${inc}\=${bookid}`; inc=$(($inc+1));echo $inc: $url; done;

这样，每行会打出一个url，这个url里的结尾部分就是 &asin.1=B0xxxxxxxx&asin.2=B0xxxxxxxx&asin.3….以此类推，不管有多少本，都可以放到一个URL里，实际测试到75本，没有问题，可以一次性加入。

登录卓越后，打开这个URL就可以一次性添加了。

呵呵，自娱自乐。

呵呵，参考凡客的那个韩寒的广告，灵感是受到酷壳的启发，这个BIGCLOUD的针织马甲还不错吧，哈哈。

上海故事其实是个品牌，上次来上海，似乎是05或06年的事，当时给女朋友买了一条丝巾，就是上海故事的，如今，外滩依旧，伊人……伊人也依旧，只是成了孩儿他妈了，呵呵，待遇上也没有丝巾了，当然，原因是我确实也没找到这家店……

地铁

作为业余地铁爱好者，来上海是不能不感受一下地铁的，所以，尽管本来可以报销机场到酒店的出租车费，到虹桥机场之后，还是径直去了2号线的入口，首先是买票：

很漂亮的IC车票，用法和北京的类似，不过通过闸机的方式有点差别，还真有点不适应。八编的长车和长展台真让人羡慕啊：

gnawux 不想打车了，准备体验一下上海地铁 7:09 PM Aug 10th via twicca

gnawux 上海地铁感觉不错，8编A车羡慕死北京人了，2号线似乎分两节，这车就到我坐的这组刚好到我要去的广兰路 #ourmetro 7:24 PM Aug 10th via twicca

gnawux 感觉制动有点太硬了，都闻到闸瓦灰味儿了，北新泾#ourmetro 7:34 PM Aug 10th via twicca

gnawux 上海地铁的青鱼的鸣笛太雄壮了，呵呵 #ourmetro 7:36 PM Aug 10th via twicca

不过，下了车找酒店就没这么顺利了，酒店可以从车站看到，但是，中间隔着工地，无法到达，必须在晚上拖着箱子绕过整个街区，很茫然，很不知所措，但觉得打车有点亏，于是还是靠着Google Map、GPS以及电话找到了

gnawux I’m at 广兰路站 地铁二号线 (翠柳路, 广兰路, 上海市).http://4sq.com/bKpa4L 8:25 PM Aug 10th via foursquare from here 

gnawux 出站之后很荒，很乱，很多摩的，很难找 8:38 PM Aug 10th via twicca

gnawux 看到张江有轨电车，很好玩 8:39 PM Aug 10th via twicca

gnawux 终于找到了 (@ Howard Johnson Hotel Zhangjiang Shanghai) http://4sq.com/9niP2X Tue Aug 10 2010 20:56:49 (China Standard Time) via foursquare from here 

gnawux 酒店不错，适合两口子，可惜啊，我还不知道和我拼房的哥们是谁呢 Tue Aug 10 2010 21:20:10 (China Standard Time) via twicca

从下车到入住，用了差不多45分钟，苦啊……

今天晚上再次出发，想去市中心看看有啥纪念品，再次去地铁站

gnawux 出发，去城里看看 about 5 hours ago via twicca

gnawux @DavidFeng 呃，我正从广兰路往那边坐呢 about 4 hours ago via twicca in reply to DavidFeng

gnawux I’m at 2号线南京东路站 (九江路, 上海市).http://4sq.com/bzyRh1about 4 hours ago via foursquare from here 

然后回来

gnawux 收队，回荒郊野外的饭店 (@ People’s Square Metro Station 人民广场地铁站) http://4sq.com/cGMUsC about 2 hours ago via foursquare from here 

gnawux 售票机前混乱不堪 about 2 hours ago via twicca

gnawux 车站果断停止售票，放行拥挤乘客，让出站补票，赞一个about 2 hours ago via twicca

感觉上海地铁的设施和管理都很不错，这种人多时的处理显然是预先准备好的预案，控制得井井有条。而且，这次我掌握了穿越工地的要领

gnawux 掌握了穿越工地的路线，酒店到地铁站的路程从半小时骤然减少到5分钟 (@ Howard Johnson Hotel Zhangjiang Shanghai)http://4sq.com/9niP2X about 1 hour ago via foursquare from here 

嗯，地铁到此为止，说说外滩和南京路吧。

外滩和南京路

时隔四五年再来上海，居然又来一次外滩，我也够无聊的

gnawux 无聊到要来这里看看了，和平饭店 (@ Peace Hotel)http://4sq.com/cOdjtvabout 4 hours ago via foursquare from here 

然后，看到外滩人山人海

gnawux 外滩真牛，都挤不到江边，更别说跳下去了，我现在至少同时在两个人的镜头里，而且是靠中间的位置，赶快跑吧 about 3 hours ago via twicca

当然，南京路上也是

gnawux 无聊的人啊 (@ 南京路步行街) http://4sq.com/9A3e4e about 3 hours ago via foursquare from here 

真的想买点东西给媳妇，不过筷子似乎有点贵

gnawux 要么带双筷子回去? (@ 韵泓筷子店) http://4sq.com/c1orlv about 3 hours ago via foursquare from here 

gnawux 开眼了，筷子也能卖上千块钱 about 3 hours ago via twicca

不过，后来时间过得太快了，只好简单买点小食品了

gnawux 呃，南京路都要打烊了，赶紧买点小点心了事 about 3 hours ago via twicca

不论如何，30岁的生日就这样过去了，满30了，明天还要讲技术报告呢，赶快休息了。

斯屹一直对海边念念不忘，差不多每两三顿饭就会提一次去海边，忘不了他的小螃蟹、忘不了他的小贝壳。禁不起念叨，我和媳妇开始计划今年夏天的第二次海边之行，上次去天津有诸多不爽之处，这次我们选择了媳妇朝思暮想的南戴河。周五，我们休假一天，计划从周五到周日，从容地在海边玩两天。

周五一早，我们掺乎着早高峰就出发了，一路上斯屹还算乖，哄着在安全座椅上坐了一路三个小时，虽然脚都快翘到天上了，但有去海边的信念撑着，他做到了。

当天中午，在停了一次服务区之后，我们到达了南戴河，住进了媳妇提前约好的家庭旅店

快一半了，休息一下 (@ G1·京哈高速·新安镇服务区)http://4sq.com/bzhBHX

家庭旅馆的环境不错 (@ 富强里小区) http://4sq.com/cGx4co

随后，儿子睡了一大觉，下午五点多，我们来到了海边

I’m at 天马海滨浴场 (南戴河, 秦皇岛市). http://4sq.com/b42q7M

这里全是人啊，你们能找到我家王斯屹在哪么？

当天，王斯屹光脚在沙滩上玩了好久，兴奋过度，这可能为晚上埋下了伏笔

之后，晚上在外面吃了点东西，买了些物资，超市的东西还不贵

买点明天吃的 (@ 艾欣超市) http://4sq.com/bZXVhM

不过，到了晚上，我们发现儿子的脑袋发烫，估计是白天太兴奋了，着凉了

儿子兴奋过度，现在体温有点高，正在给他物理降温

经过一夜物理降温，斯屹早上的海边热情依旧，但精神没有头一天足，为了安全起见，我们退了房，带儿子又去海边转了一圈，然后启程返京。来的路上是我们两个人换班开车的，回来的时候，考虑到媳妇后半夜没怎么睡，我一路开回北京，途中屡次超速，嗯。

PS： 途中发现对面事故导致差不多停了10公里，同情对面的出游的朋友。

周六中午到家之后，斯屹下午又发烧了一下，用了点药降温，之后体温一直没再提高，周日上午，我们看他没什么大碍，又带他去龙德转了一圈，下午又带他去公园玩了，完全没什么问题了。

I’m at 丽家宝贝 (龙德广场, 北京市). http://4sq.com/coOvGr

I just became the mayor of 丽家宝贝 on @foursquare!http://4sq.com/coOvGr

I’m at 金种子乐园 (立汤路186号龙德广场四层, 北京市).http://4sq.com/9ST7cA

I’m at 天通艺园 (天通东苑, 北京市). http://4sq.com/a4dlWw

更多内容都是视频形式的，有功夫处理一下上传吧，没功夫就只能无限期拖延了……