读取大文件，几百 G 的那种，怎样建立索引来提高读取速度

[zh584728]

想给文件建立一个索引文件，不知道用什么方法，还是说索引规则可以自己确定?

[sep19]

你表述不够清晰。 几百 G 的文件，用 Hadoop 处理，离线建索引，几十分钟就可以了。

[mortonnex]

如果你的意思是你需要随机读，那么存 offset 就可以

[zh584728]

@sep19 #1 懂了，我只是想读取一个文件快一些，而又不想使用数据库，我网上查的是使用 DHF5 存储

@mortonnex 多谢回复，不算随机读，类似于数据库查询，查完一条后查询下一条的时候又不想从文件头开始读取，em...有点像 seek 函数的方法哈，就是文件比较大，文件指针指来指去比较费 cpu

[xylophone21]

几百 G 了，不想使用数据库的原因是什么？感觉自己实现个索引肯定不如数据库做的好。还是说你想搞明白数据库建索引的实现。

[ps1aniuge]

支持 4 楼。导入数据库，分字段，按字段索引。打散数据=结构清晰。不打散=一团乱麻。

[Variazioni]

@zh584728 兄台。。纠正一下。。那个叫 HDFS。。大概用的是手写输入法？

[lyc1116]

@Variazioni 他的意思是 hdf5

[xomix]

@Variazioni https://www.hdfgroup.org/solutions/hdf5/

@zh584728 这玩意儿也是个数据库啊！！！

[Variazioni]

@xomix 还是我才疏学浅啊。。 =。=