Linux 中如何找到 2 个文件的并集

[kkyypy]

如题有一个文件 a ，只有一列存着 id
文件 b 是 3 列，存着 id 和其他字段
想找到文件 b 中 id 为文件 a 中的 id 的所有行

大佬们除了遍历还有什么其他的方法吗，因为文件 b 的行数大概有 2 亿。。。哭死

[ruidoBlanco]

join a.txt b.txt

如果分隔符不是空格或者需要匹配的字段不是第一个，man join 自己查。

[julyclyde]

comm 命令
要加参数

[libook]

拿 Python 之类的写个脚本实现吧，用 shell 调用执行，shell 自己处理这种 case 可能十分吃力，毕竟 shell 只是个用来启动其他程序的工具。

[jurassic2long]

还是上数据库吧，sqlite 就行，免去了各种细节问题，操作简单，计算高效

[wxf666]

@ruidoBlanco @julyclyde `join` 和 `comm` 命令都要求 a.txt 和 b.txt 排好序了吧。。

如果俩文件都排好序了的话，反而没必要遍历 b.txt 了。如 @Tanix2 #16 所说，用二分查找更快

[coolloves]

假定 a 的第一列是 id, b 的第一列也是 id,如果不是,修改以下 $1,如果 b 的 id 不固定,则忽略这个回答.

awk 'NR==FNR {a[$1];next} $1 in a' a b

[xyjincan]

A 文件进内存，B 文件逐行输出，程序也许一分钟就跑完了

[julyclyde]

@wxf666 是的要求排序。

[lizuoqiang]

join -t , a.txt b.txt