有没有搜索引擎能解决重复度过高的问题

[polo3584]

现在的互联网，特别是中文互联网，复制粘贴情况太严重了，搜索一个什么东西，前几页的内容高度重复出自同一个博客，被发到各个平台，能不能把相似度很高的内容重叠起来，提高搜索效率。

或者是有什么插件能实现这个功能吗？

[uselessVisitor]

https://magi.com/

[Yourshell]

这是搜索引擎的本职工作吧

[acr0ss]

@Yourshell
明显不是。

1. 首先搜索引擎匹配的是搜索关键字相似度。
2. 如果如你所言，搜索引擎相需过滤相似结果，如何保证公平？如何保证留下来的就是原创？

[ebingtel]

谷歌的搜索内容 基本上没啥重复的了吧 百度的倒是很多重复……simhash 算法？

[wjgmytwq]

网页去重不是那么好做的，一个网页，不是只包含核心内容那块文字的，google 做的是整体去重，就是整体很相似的。
而且我并不建议去重，为什么呢，因为就算核心内容一样，周边信息也有不一样的地方。
举个例子来说，我之前搜一个问题，搜到了微软的官方网站，就挂了一个标准答案，但是问题没解决。后来我找到一个答案很类似的技术网站，从下面的评论里找到了解决问题的办法。

[czfy]

内容去重的前提是内容识别

你说标题一模一样，那是最容易的

难就难在同一篇文章被洗稿成 n 篇，意思都是那些，但标题不同，正文可能还改了点，这种机器学习识别率 /分类效率还是不高