dfs.datanode.max.xcievers: hadoop 的无文档的参数

April 30th, 2009 by gnawux Leave a reply »

该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。

这个限制看来实际有些偏小,高负载下,DFSClient 在put数据的时候会报 could not read from stream 的 Exception。

值得注意的是,程序里进行比较的数值来自于java的ThreadGroup,据JDK API文档解释,这个参数并不确保准确,仅供参考用途,Core Java也建议不要使用ThreadGroup,hadoop在此使用ThreadGroup有些值得商榷。

未经特殊声明,本站作品均为原创,同时会通过ifttt 转发至 本人 wordpress.com 博客,原则上不反对转载,但建议保留本文链接。

Post Footer automatically generated by wp-posturl plugin for wordpress.

Advertisement

Trackbacks /
Pingbacks

  1. Tablet Pc

Leave a Reply

Switch to our mobile site