如何优化文件存储HDFS版文件系统性能

调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。

alidfs.default.write.buffer.size

8388608

To achieve high write throughput, no less than 1MB, no more than 8MB

alidfs.default.read.buffer.size

8388608

To achieve high read throughput, no less than 1MB, no more than 8MB

alidfs.use.buffer.size.setting

false

dfs.connection.count

16

If multi threads in the same process will read/write to DFS, set to count of threads

参数说明如下所示。

参数

说明

alidfs.default.write.buffer.size

写缓存区的大小，单位为Byte。

适当的缓存大小可以提供更高的吞吐，建议配置在1 MB和8 MB之间。

alidfs.default.read.buffer.size

读缓存区的大小，单位Byte。

适当的缓存大小可以提供更高的吞吐，建议配置在1 MB和8 MB之间。

alidfs.use.buffer.size.setting

文件存储HDFS版是否使用Hadoop默认的buffer size值。取值范围如下：

false：使用alidfs.default.write.buffer.size和alidfs.default.read.buffer.size配置的值。

true：使用Hadoop默认的buffer size值。

dfs.connection.count

单SDK内的连接池数目，建议配置为16。