十万条以上就开始只能处理一部分而已
1
mdzz 2017-03-13 13:24:26 +08:00
看到 grep - md5.sum 的时候楞了几秒钟
|
3
ElmerZhang 2017-03-13 14:51:18 +08:00
你确定不是你的 md5.sum 一直有 append ?
|
4
yiyiwa 2017-03-13 14:56:18 +08:00
10 万条不至于吧!
|
5
congeec 2017-03-13 15:10:43 +08:00 via iPhone
这种情况下不用 cut 么?
|
6
rrfeng 2017-03-13 15:21:56 +08:00
从未遇到过
|
7
noark9 2017-03-13 15:35:54 +08:00
从未遇到过,你确定你的数据只是按行还是有增加,或者数据没问题,之前导数据的时候三五百万是松松的处理啊
|
8
lrz0lrz 2017-03-13 16:20:51 +08:00
处理几千万行数据从没遇到过这个问题
|
9
est 2017-03-13 16:49:12 +08:00
在 hdfs /hadoop stream 上跑 grep 的路过。都不是事儿~~
|
11
rogerchen 2017-03-13 18:54:43 +08:00
楼主总想搞个大新闻, FSF 这些远古套件出问题的可能性几乎没有,你也不想想用户群有多大。。。
|
12
lhbc 2017-03-13 19:00:01 +08:00 via iPhone
十万也算量?
|
13
fxxkgw 2017-03-13 19:00:09 +08:00
C 的效率对付几十万条数据还是妥妥的
|
14
chineselittleboy 2017-03-13 19:03:48 +08:00
下午刚处理过三百万行的文本,几十秒
|
15
halfbloodrock 2017-03-14 08:48:33 +08:00
想用 shell 处理大量文本数据的话,用 while 结合 awk , sed 。
|
16
feiyang21687 2017-03-14 09:31:35 +08:00
md5.sum......
|