读取大文件，最快的方式是什么？

[sjmcefc2]

for line in files:? 这个是读取大文件最快的方式吗

[sjmcefc2]

with open("file_name", 'r') as input:
for line in input:
#process
这种真的非常慢啊

[sjmcefc2]

100G 的文本。大家有好方式吗

[swulling]

https://docs.python.org/2/library/mmap.html

[clouduan]

https://stackoverflow.com/questions/30294146/python-fastest-way-to-process-large-file

[sjmcefc2]

mmap 的话，如何逐行读取呢

[NUT]

java 用 RandomAccessFile 读流的时候判断是\n 就行

[ltoddy]

肯定是文件流啊，然后一部分一部分的读取.
fs.createReadStream()

[LosLord]

Java 有个根据指针读取的类

[sjmcefc2]

python 的 mmap 用行读取的方法？这样行吗，但是感觉还是很慢
with open(STAT_FILE, "r+b") as f:
m=mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ)
while True:
line=m.readline()
if line == '': break
print line.rstrip()

必须其他语言？

[sjmcefc2]

主要用来按行读取，然后 split，然后判断每个字段的编码，java 有这些？ go 能满足？速度如何？

[qsnow6]

之所以慢，是因为要一次性把大文件读取到内存中。
使用流就行了，不是换语言能解决的

[sjmcefc2]

@qsnow6 能给一个 python 流的例子吗
用 mmap，42m 读了 900 万条

[yunpiao111]

如果是文本类的话 单机多核可以用 pyspark

[notreami]

不读，最快。

[sjmcefc2]

@yunpiao111 混合编码文本，单机多核心，pyspark 有逐行读取的案例？貌似在 api 里面没看到逐行读取的。。。。

[sjmcefc2]

@notreami 太崇拜你了，哲学啊。

[sjmcefc2]

@qsnow6 流读取会把不可见的分隔符给搞掉吧，比如 hive 的^A

[swulling]

你得先找到瓶颈啊，别瞎猜测是读取慢。来来来我给你验证下。

人工生成 1000 万行的文件
$ time python ./numbers.py > out
python ./numbers.py > out 6.37s user 0.24s system 89% cpu 7.395 total

逐行读取，然后输出到 stdout，也就 7s 钟

你说『 42m 读了 900 万条』，那么瓶颈我觉得大部分是出在你的处理逻辑上，管读取什么事情？

[crayygy]

之前遇到过要读 10G 的文本，后来采取了先排序，分割，筛选一次，剩下差不多 2G，最后再进一步分段读取

[swulling]

用 Profile 去分析下耗时，优化要先分析，后优化。不能脑子一拍，肯定是 Python 大文件读取慢，就开始吭叽吭叽优化这个...