爬虫是内容媒体第一生产力

[jianzhiyao]

最近写了一篇关于 mysql 的文章吧， 过了一段时间后， 看看搜索引擎工作效率如何， 一搜， 发现第一个搜索结果， 标题和我的文章完全一致， 而且还声明原创！ 那个博客载体是 C*DN 的， 具体就不暴露了， 怎么感觉现在的很多内容载体都喜欢复制粘帖， 百毒一搜某个技术关键词， 复制粘帖的一大堆， 复制粘帖也就算了， 还要格式错乱！

人工 SEO: 百度内容重复 内容爬虫浪费生命

[shuirong1997]

昨天我 Google 搜一关键词，在 segmentfault 看到了一个相关问题。然后又在 Google 搜索第一页中间看到一个网站，把 seg 的问题和回答全部 copy 了，也没有说出处。

[shuirong1997]

每天都要搜很多次技术关键词，最气的就是连续点开好几个网页，内容却都是一样的....

[zhouyg]

同感，中文的技术内容，尤其是基础入门的通常都一通乱抄

[exoticknight]

很多人只是当博客是云剪贴板

[mokeyjay]

很多人眼里博客=笔记本

[wangjie]

@shuirong1997 同感

[otakustay]

互联网的价值不是创造内容，而是传播内容

[Vogan]

@otakustay 也不应该是复制内容啊

[cbais7890]

@otakustay #7

把正确的知识整理成书, 带上注解和说明才配得上叫传播
随口一句 "我听说..." 叫做瞎掰
网上这些垃圾爬虫爬不到原始格式还干扰搜索, 不管正确性内容还千篇一律, 或许你认为这样就算传播内容了?

[otakustay]

@cbais7890 传播错误的内容也是传播，互联网从来没有说过自己的正确性，在任何时代任何环境下筛选信息及信息源都是人自身应该有的能力，就如同你在小饭店不会把所有人的谈话都听到脑子里，这是人类几千年进化而来的天然信息屏障，互联网不过区区百年，人类还需要几千年的适应和进化

[cbais7890]

@otakustay #10

低质量的爬虫传播提高了我们的检索成本, 而本应该降低我们检索成本的搜索引擎却一塌糊涂, 百度首当其冲
我觉得我们不需要在这个无意义的方面"进化"

[otakustay]

@cbais7890 你去饭店别桌人说话同样是提高成本，但中国的饭局文化就是说说说，只不过你已经进化到了别人说话根本不影响你的程度，所以你不觉得饭店里别桌说话是“提高信息分析成本”，那么你会说这几千年来人类进化出这个能力是无意义的，应该一开始就让人类不会在吃饭的时候说话么

[jianzhiyao020]

@shuirong1997 说不定是 sg 爬的，谁也说不清

[oisc]

垃圾站 采集站 太多了

[dongxiaozhuo]

@shuirong1997 记得很多年前，想要解决某个手机的问题，发现能搜索到的方案全是 copy 的。当时就看到某个用户对这样行为的一句评价：xxx 的解决方案，不过是在互联网上流传了很多年的一段废话。