请教如何删除 6 万 txt 中重复的行

[holinhot]

文本1中：

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600
123.com.     3600    IN      A       2.2.2.2
123.com.     3600    IN      NS      ns2.dns.com.
123.com.     3600    IN      NS      ns1.dns.com.
123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600
aaaa.com.     3600    IN      A       11.1.1.1.1
aaaa.com.     3600    IN      NS      ns2.youdns.com.
aaaa.com.     3600    IN      NS      ns1.youdns.com.
aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

删除每个文本中重复的行
像文本1中

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

这行重复了去掉重复的一行

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

重复了 去掉重复的一行。
我也不知道为什么为有两条SOA记录 真是奇怪

[holinhot]

不能说固定删除第几行，这个行不通 因为每个域名的解析记录条数有多有少

[magicianzrh]

每读入一行 一行文字md5一下作为key，就可以检查了

[ksupertu]

uniq命令加管道重定向输出文件

[airqj]

sort -u

[ob]

话说搭个hadoop环境是否可行。。

[ob]

好吧，没注意这是python节点，请忽略我上面的评论。。

[ipconfiger]

@ob 6w行还需要动hadoop？
python读进来，"\n".join(list(set(f.readlines()))) 写回去就好了

[youxiaer]

如果不考虑原有顺序就比较简单了。
for i in `find ./ -name "*.txt"`; do sort $i | uniq > $i".bak"; mv $i".bak" $i; done

[staticor]

考虑顺序?
如果不考虑的话是用set() : uniqlines = set(open('/tmp/foo').readlines())
*Nix下sort <file name> | uniq

也有用dict的keys()的:

import collections

with open(infile, 'rb') as inf, open(outfile, 'wb') as outf:
outf.writelines(collections.OrderedDict.fromkeys(inf))


-----------------------------------------

要保持原顺序, 那就算一行一行读也能操作:
for ...
if line not in ... :
read_it



注: 我只是ST搬运工.

[holinhot]

@staticor
@youxiaer 顺序都不保持也可以。到时候导入数据库就好了
刚测试了一个 没有问题，现在还在执行中 感谢了 我自己查了半天 uniq还没看明白

[youxiaer]

@holinhot 保证顺序也是可以的。
for i in `find ./ -name "*.txt"`; do awk '!a[$0]++' $i > $i".bak"; mv $i".bak" $i; done

用上面的语句就行

[kimmykuang]

sort + uniq命令可以搞定的吧？

[GreenJoson]

Emeditor 打开10多W万行的文本都不成问题，删除重复行用他的插件~~瞬间的事~~

[atan]

sublime text 打开后 Edit>Permute Lines>Unique

[xiaoheshang]

直接sort |uniq -c |sort -r 解决

[duzhe0]

感觉你是想做个diff,把逻辑上相同的行批掉就行了
mv aaaa.com.log aaaa.com.log.backup
sed -i 's/^aaaa.com/123.com/;s/ns1.youdns.com. dns.youdns.com/ns1.dns.com. dns.dns.com./' aaaa.com.log
diff 123.com.log aaaa.com.log

[duzhe0]

弄错了， 不是mv, 是cp

[jianghu52]

up @GreenJoson 的做法，emeditor打开大文件绝对飞快。

[momo07]

全部复制到excel，全选6W行数据
数据选项卡-数据工具栏目“删除重复数据”

[cbsw]

不要拘泥于工具，Python只是一种方便的编程语言而已，sort、unique两个命令干这事最合适了

Do the right thing with the right tool, never try to do everything with one tool.

[holinhot]

@prinzchao 这个厉害 你手动从6w txt复制到excel?

[chengzhoukun]

用SQL也可以吧

[chengzhoukun]

用SQL

[holinhot]

@GreenJoson 不是10w行吧。是6w个txt 每个txt大概10来行

[holinhot]

@chengzhoukun 最终用api入库

[MarioLuisGarcia]

vim里 :sort u
搞定！

[tikazyq]

cat <filename> | sort | uniq >> unique.txt

6万行数据不算大，直接unix操作就ok

[momo07]

@holinhot 临时处理某个文档数据当然可以这样啊，6W行数据对现在的电脑配置来说毫无难度吧。

[CodeDrift]

为什么大家看不清。。。人家说的是6个txt文件。。。。。。。。。

[sbboy]

@Anybfans 6万个吧。。。

[touch]

既然最终要入库的那不是一条sql语句的事

[raman]

这里 sort - u file.txt

[idblife]

导入数据库里操作一下

[eycfsjd]

sort -u src.txt > des.txt 就可以搞定了...

[likexian]

http://www.zhetenga.com/view/linux%E5%8E%BB%E6%8E%89%E6%96%87%E4%BB%B6%E9%87%8D%E5%A4%8D%E8%A1%8C-d0df4c10.html

简单方便、值得拥有

[iiilii]

这么多人都没看懂楼主的问题，6万个txt文件，每个文件10几行。

[incompatible]

python里没有 既能保持添加顺序、又能滤重 的数据结构？
类似Java里的LinkedHashSet

[staticor]

@incompatible ordereddict collections中的

[mucid]

cat *.txt | sort | uniq > all.txt

[Jaylee]

@mucid sort -u 就可以

[USCONAN]

sort uniq

P.S. 論起標題的嚴謹性和歧義的產生

[leavic]

sort|uniq

done

[shierji]

python cookbook里面有介绍保持顺序的去重方法

[carmark]

bloom filter 值得研究
用这个工具处理500g数据都没问题，当然有一定错误率

[GreenJoson]

@holinhot 把6W多个合并成一个，然后用emeditor 就行~~

[KoleHank]

每一行读出来了往redis里面一塞可行不？

[rrfeng]

不需要保证输出顺序的话：

awk '!a[$0}++' file1 > file1_output

如果要合并去重的话
awk '!a[$0]++' file1 file2 file3.... fileN > all_output


----------
一个合格的运维从来不用 sort -u 23333

[LuciferSheng]

果然都是程序员，我的方法是导入到 excel - 删除重复项...

[withboost]

第一反映是用 excel

[ShunYea]

@LuciferSheng 我想到的第一个方法也是这个。

[zts1993]

为什么没人用redis

[Battle]

那么多用编程解决的都编得定势思维了？用个excel一下子就行

[geeti]

cat|uniq > xx不就行了。。。。

[20150517]

来说个上T的情况怎么处理的办法,把这个弄进hdfs,开hive,来个row_number函数partition by重复的列,几T数据也帮你处理下来

[ryd994]

@geeti uniq前须先sort
@Battle bash cat sort uniq打字10秒顶天了
唯一怕内存不够。不过如果内存不够的话，excel也一样，就只能上数据库了。

[ibolee]

导入excle中滤重可能不？备份下试试。

[s51431980]

ls *.txt | xargs -I{} bash -c "sort -u {} > {}.bak ; mv {}.bak {}"

[hicdn]

awk '!a[$0]++' *.txt > new

[lzg]

你这个TXT应该是从SQL中导出的吧。在SQL中就很好做了。
你直接Select distinct再导出TXT。

[holinhot]

@touch 不去重用api不行

[holinhot]

@lzg dig遍历的

[holinhot]

@carmark 有错误是不能被接受的 后期检查不完蛋了

[holinhot]

@prinzchao 还是你厉害

[carmark]

@holinhot 所以说就看你的需求了，当然目前的情况是你的数据少，如果数据达到500g,你想过时间是多少么，所以为了时间而抛弃正确率

[Mr1028]

@holinhot 哈哈哈，手速一定要够快

[Mr1028]

@hicdn 终于看到 awk 了。。。。