文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。

[iwaifor]

文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。
文本格式如下
2018-06-17 22:04:35|/music/2017/12/马车夫之歌-阎维文.mp3|11771904
2018-06-17 22:04:28|/music/2017/12/马车夫之歌-阎维文.mp3|18481152
2018-06-17 22:05:55|/music/2017/12/马车夫之歌-阎维文.mp3|3325952
2018-06-17 22:04:11|/music/2017/12/马车夫之歌-阎维文.mp3|3973120
2018-06-17 22:05:07|/music/2017/12/马车夫之歌-阎维文.mp3|6602752
2018-06-17 22:01:41|/music/2017/12/马车夫之歌-阎维文.mp3|8519680
2018-06-17 22:45:44|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|0
2018-06-17 22:45:16|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|1744896
2018-06-17 22:46:18|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5447680
2018-06-17 22:45:54|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5455872
2018-06-17 22:39:24|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5988352
2018-06-17 22:08:28|/music/2017/12/我的花儿-阎维文.mp3|4702208
2018-06-17 22:08:02|/music/2017/12/我的花儿-阎维文.mp3|8577024
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|28577
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|0
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|2813468

[jswh]

excel

[iwaifor]

@jswh 数据比较多 用 awk 能实现吗 搜了半天没找到解决办法

[SaulLawliet]

大概这样吧

awk -F'|' '{if(a[$2] < $3) {a[$2] = $3; b[$2] = $0}} END{for(i in b) print b[i]}'

[CEBBCAT]

最终仅输出一行的意思？

[iwaifor]

@SaulLawliet 可用，很神奇，麻烦问问，这个具体是 awk 的什么用法

[imn1]

「第二」是至下标 2 吧？否则按语文理解你这去重只剩下一行啊

[lululau]

来个 Perl 版本的：

perl -F'\|' -ane '{$h{$F[1]}=$_ and $c{$F[1]}=$F[2] if $c{$F[1]} < $F[2]}END{print for values %h}'

[lululau]

再来个 Ruby 版的：

ruby -F'\|' -ane 'x||=[]; x<<$F;END{x.group_by{|e|e[1]}.map{|_,y|y.max_by{|l|l[2].to_i}*"|"}.each{|l|puts l}}'

[tamlok]

楼下再补充个 C 版本：

[SaulLawliet]

@iwaifor 就是基本操作呀;)
具体你可以看下这个链接 https://www.tutorialspoint.com/awk/awk_workflow.htm

[ant2017]

awk 'BEGIN{FS=OFS="|";} {if($2 in a){if($3>a[$2]){a[$2]=$3;b[$2]=$0;}}else{a[$2]=$3;b[$2]=$0;}} END{for(i in b){print b[i]}}' aa.unl

[iwaifor]

@lululau 6666 一把骚操作，很优秀