请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高

[ranxi]

python 新手，现在有个需求，大概几百万条数据需要翻译，映射关系存在一个 5GB 左右大小的 txt 文件里，也就是拿几百万个值去几亿条数据里去匹配，怎么做比较好

[wxf666]

@ranxi 可以试试用 sqlite ，几行搞定 导入+翻译+输出，感觉速度应该也不慢


1. 生成 O2.txt （从小写字母，映射至大写字母，共 26 行）

printf "%s\n" {a..z} | sed 's/^.*$/&\t\U&/' | tee O2.txt

『输出』
a 　　 A
b 　　 B
…　　…
z 　　 Z


2. 生成 O1.txt （也是 26 行，字段内容是：主键 ID 、预期转换成啥样、待转换内容）

printf "%s\n" {a..z} | awk -v OFS=$'\t' '{print NR, toupper($0), $0}' | tee O1.txt

『输出』
1 　　 A 　　 a
2 　　 B 　　 b
…　　…　　…
26 　　 Z 　　 z


3. 导入映射表至数据库

sqlite3 -tabs O2.db 'CREATE TABLE O2 (key PRIMARY KEY, value) WITHOUT ROWID' '.import O2.txt O2'


4. 逐行查数据库进行翻译

4.1 为 SQLite 启用 csv 扩展

①下载 csv.c： https://www.sqlite.org/src/file?name=ext/misc/csv.c&ci=tip
②编译扩展：参考 https://sqlite.org/loadext.html

4.2 翻译

SQLITE_CSV_LIB_PATH='./csv' # 编译好的 CSV 模块库路径（可省略后缀）
SQLITE_CACHE_SIZE_MB=512 # 数据库最大缓存页面大小（单位：MB ）

# sed -E 's/"/""/g; s/^|$/"/g; s/\t/","/g' O1.txt |
tr '\t' ',' < O1.txt | # 制表符 转成 逗号（要求 O1.txt 每列内容，都不包含『"』『,』，否则用上面那行）

sqlite3 -tabs O2.db \
　　".load $SQLITE_CSV_LIB_PATH" \
　　"PRAGMA cache_size = -$((SQLITE_CACHE_SIZE_MB << 10))" \
　　'CREATE VIRTUAL TABLE TEMP.O1 USING csv(filename="/dev/stdin", columns=3)' \
　　'SELECT O1.c0 id, O1.c1 expect, O2.value replaced FROM O1 LEFT JOIN O2 ON O1.c2 = O2.key'

『输出』
id 　 expect 　 replaced
1 　　 A 　　 A
2 　　 B 　　 B
…　　…　　…
26 　　 Z 　　 Z

[FYFX]

以前我还会考虑怎么做，现在碰到大点的数据，现在就两张表都塞 hadoop 然后 spark 跑个 join 就好

[winglight2016]

前面有人提过 dask 、dtable 这些照理够用了，还想通用一点，上 spark 、flink 这种大数据平台

[krixaar]

5GB 左右几亿条，数据条目本身不大而且规整的话，按某种方式（比如先 hash 一下 key ）切一下建文件夹和文件，比如 abcdef 对应 123456 就建 ab/cd/ef 路径，文件名 123456 ，建好之后直接 path 判断下有没有，有就把路径里唯一的文件名写进去。

[wxf666]

@krixaar 这个开销有点大噢

比如 Linux ext4 ，每个文件所需的一个 inode 要 256 字节（存各种属主、权限、时间信息，还有数据分布在哪儿等），

且不说应该不会预留几亿个 inode 可用，光是建一亿个文件就要 23.8 GB 的 inode ，还没算目录……

以及长文件名、特殊符号等其他问题

那还不如用数据库呢，MySQL 的 innodb 下，一行数据仅额外需要至少 18 字节（存事务、回滚信息等），SQLite 更少

若这个表的 B+树 3~4 层高，前两层容易缓存至内存，那么翻译一行数据一般只需额外读取 1~2 次硬盘，绝对比文件系统开销小

[krixaar]

@wxf666 #25 说了不考虑数据库啊🤣
另外这个提法是为了黑 Windows 版 QQ 的群图片缓存（ Image\Group2 ），腾讯是把文件名开头的四个字符比如 abcdef.jpg 建成 ab/cd 路径然后把 abcdef.jpg 文件塞里面。

[wxf666]

@krixaar 不知为何不考虑数据库，权限不足？不熟悉？

连 1MB 、无需额外进程 的 SQLite 也要排除。。

那上面提到的大数据平台就更离谱了


眼拙，丝毫没看出原来是在讽刺

其他做得好的类似软件，是如何存储这些小文件的？数据库？

SQLite 确实提到过，数据库中存储小文件，可比文件系统快 35%，减少 20% 磁盘占用

https://sqlite.org/fasterthanfs.html

[documentzhangx66]

这种场景，你说你不用数据库，我猜测，你应该是 C++ 内嵌汇编的大佬，自己能写出比数据库引擎更好的分析、算法、索引，结果，你起手式却是 Python ？？？？？

你用 Python 处理数据，不用数据库，反向做方案，是贵司钱多？还是工作量不饱和，要给自己加任务？

其次，你这最大的数据量，几亿条，才 5GB ，另一个几百万条的文件，估计才几十 MB 吧？不说内存，一些大缓存的洋垃圾 CPU ，说不定都能把你这几百万条文件给一口吃掉。

不用数据库，这道题就是如何使用 C++，选取极致的字符串匹配算法，实现数据切分到每个核 与 内存，使其处理带宽最大化。

用数据库，这道题就是怎么安装、配置数据库，进行性能调优。

这两道题的难度完全不是一个等级的，不是大佬当然选择数据库，最好是地球上最强数据库 Oracle 。

至于 Python ？如果你的目标是，追求极致的处理性能，那么 Python 在这个问题上，就是个笑话。有些数据库引擎内部能优化到把数据量按 node 与 内存条的对应关系给负载均衡 + 并行起来，Python 却还在研究代码是不是写错了，怎么按行读取这种事情上，画风都不一样。

当然了，如果只是想叼根烟，翘着二郎腿，在空调房里，摸摸鱼，顺便在上百万的全闪存储 + 王思聪级的服务器上，用 Python 跑个数据玩玩，那当我没说。

[edk24]

fopen, 控制游标, 一次读入 n 行, 以此类推 只到遇到文件结尾符


大文件处理大多是这种套路, windows 的很多设计也是, 因为不可能几个 gb 的文件全部读到内存里面处理.

[mikewang]

```
import mmap
```
?

[zlstone]

估计是个面试题，不让用数据库，只能用 Python 解决

[ranxi]

抱歉各位，昨天有事没看回复，我再说明一下。

首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列

[wxf666]

@ranxi 描述改个不停。。不如放几行数据出来

我还是觉得 sqlite 足够你用，几行的事

下载个 sqlite3.exe （ 1~2MB ）就能用，也不用管理员权限，内存占用也随你设，1MB ，1GB ，都行

xml 也很好解决，xmlstarlet

[crayygy]

@krixaar Git 其实也是这种方式

[ranxi]

@wxf666 感谢，已解决