请问： 100w 个文件怎样快速合并到一起

[zh584728]

每个文件倒是不大，几百到几千行不等

尝试使用cat 但是内存会溢出

笨办法倒是有，一个一个文件去读取...但好像也不快

所以有啥奇淫技巧吗

[jimliang]

cat file1 file2 > file

[liprais]

格式一样么
格式一样放在一个目录下面用 spark 完事

[jimliang]

不好意思，刚刚没看到已经尝试用过 cat 了

[xupefei]

fish:

for f in (ls)
cat $f >> combined.txt
end

bash/zsh 同理。

[deppindeepin]

何谓"快速"？指的是快速实现还是快速合并（合并速度）？
如果是前者的吧，拿一个自己熟悉的脚本语言搞一下岂不是分分钟么