这个 300M 如何计算？为什么我算的 150M 左右

2019-11-12 20:08:02 +08:00
 RENKTH

大量的小文件：由于 namenode 将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于 namenode 的内存容量。根据经验，每个文件，目录和数据块的存储信息大约占 150 字节

1169 次点击
所在节点    问与答
3 条回复
RENKTH
2019-11-12 20:31:23 +08:00
据存储在内存中，因此该文件系统所能存储的文件总数受限于 namenode 的内存容量。根据经验，每个文件、目录、数据块的存储信息大约占 150 字节。举例来说，如果有一百万个文件，每个文件占用一个数据块，那至少需要 300MB 的内存。


没复制完 补上
RENKTH
2019-11-12 20:55:24 +08:00
这是 Hadoop 权威指南 3.1 节内容 大量的小文件的内容，我自己算需要的的内存大小是 150x1000000/1024/1024=143.051 但是不知道为什么书里说需要 300m 大小
zmj1316
2019-11-12 21:32:26 +08:00
空文件占 150，文件有一个数据块占 150 这么算？我字面理解的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/618935

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX