看到一道面试题，多线程适合用来做大量文件的读取吗

[LYEHIZRF]

去找磁盘下所有指定扩展名的文件，打开文件去找指定规则的内容，然后生成一个报表。 如果文件特别多要如何处理（考察多线程以及分布式）。

threading 和 multiprocessing 哪个更适合呢？

[jones2000]

瓶颈不在读文件， 瓶颈是你合并报表程序的处理能力， 假如是分布式 1 次读几百万个文件，1s 发送 1T 的数据过来， 你生成报表的程序能顶的住吗？

[antipro]

哪类磁盘 1 秒读 1T ？我觉得读取本身不需要多线程。

[sparky]

@jones2000 加 mq 多消费者可以解决吧

[zhouAndy]

这个题考察的点 很基础 读文件的瓶颈在磁盘的 IO 上， 上多线程并不管用，，，文件读完后的处理上多线程才有意义

[hallDrawnel]

如果从多个磁盘读写会有差异

[mhycy]

需要看目标磁盘的结构决定是否多线程
如果是磁盘，单线程效率远高于多线程
软件本身可以多线程实现异步队列来做后续处理
但读取前端受限于 HDD 只能单线程操作，这是原理决定的

如果是 NVME ，多进程，或者异步 IO

[mhycy]

接上补充，SATA SSD 需要考虑并发性能，这货的承载力没有 NVME 盘那么高

[ClericPy]

说的有点像读取百万小碎文件时候的瓶颈如何解决的事情, 联想到现公司被一句 cat /xxxxx/xxxxxxxxx/**/* |gzip -d 处理二十万碎文件整的真叫死去活来了

多进程把 n 个核心都用上(而不是每个文件开一个进程, 那切换开销大到吓人)有点用, 多线程流式读文件应该也有点用毕竟从磁盘读入内存 IO 瓶颈也挺大. 脑子里蹦出 HDF5 / mmap / 零拷贝 啥的, 但是想不起来有没有关系

[Donahue]

@ClericPy 多线程也可以把 n 个核心都用上吧， 又不是 python 有 jit 锁

[vance123]

我有一次用 Python 处理百万个 html 文件，远远达不到 IO 瓶颈，解释性语言的开销太大了

[westoy]

@ClericPy

xargs -P N

@Donahue

python 躺着中了一枪， 它家 zlib 和 IO 都释放 GIL 的， 没锁.......

[biubiuF]

多线程查找，读取的话瓶颈在 io 单线程效率最高，数据处理再多线程，扇入扇出模型

[Donahue]

@westoy 哈哈哈哈我基础知识不牢固