hadoop or spark 大数据去重(10 亿)

[engineer9]

现有一些社交数据如下，

id from to
1   A   B
2   A   C
3   B   A
4   C   A

去重复后如下，

id from to
1   A   B
2   A   C

尝试的解决方案:
1、采用 bloomfilter 去重，由于 bloomfilter 本身算法问题，会丢失一些数据；
2、使用数据库查询然后写入到新表，速度有点慢。
3、使用 BerkeleyDB ？
4、使用 hadoop 或者 spark 解决,网上找到的方式几乎都是使用 group by 或者 distinct 但这并不适合我这个场景，如何解决呢？
头大。。。新手上路。。。

[kavana]

hadoop or spark 大数据去重，收藏待用