大家一起来讨论下,今日头条是如何实现去重的?

[gongweixin]

最近刚刚看完<长尾理论>, 现在的互联网基本就是在挖掘长尾的价值,因此个性化的推荐就很重要了,网上的开源推荐引擎也很多,今日头条就是基于个性化推荐的新闻App, 但使用今日头条的时候每次下拉刷新都会有新的内容,并且是不重复的这个是如何实现的呢?

[gongweixin]

一般这种列表展示形态的应用都会传个时间戳,通过时间戳来保证不会返回以前的数据, 但是今日头条每次返回的内容的发布时间是不确定的,这次返回今天的, 拉取一次可能就会取到几天前的,再拉取又可能取的最近一两天的.

[feilaoda]

头条每一个都有id，在app端去重也是很简单的

[gongweixin]

@feilaoda 如果完全客户端去重的话服务端是安装什么规则给它取呢,因为不论它按照什么排序,如果是简单的从大到小排序,间隔极短的两次拉取应该返回相同内容,但是每次拉取都能获取到几条新内容(内容上的新,不是时间上的新).

[feilaoda]

@gongweixin 这个和微博timeline类似，通过时间戳即可以解决只更新最新内容

[gongweixin]

@feilaoda 但是它这个不是通过timeline划分的, 获取到的新闻的时间不是有序的,比如今天是12月2号, 第一次拉取可能获取到12月1号的,下次拉取可能获取到12月1号的,再拉取又可能获取到11月30号的.