这个大专栏网站是爬虫网站？窃取别人的文章

[jdhao]

地址： https://www.dazhuanlan.com/

窃取我的文章，也不引用来源。 例如： https://www.dazhuanlan.com/2020/02/19/5e4c63b7105ec/

原本的文章： https://jdhao.github.io/2018/12/25/my_reading_list_2018/

[murmur]

爬了 121080 这么多页帖子，也没广告，这啥垃圾网站

[jdhao]

@murmur 难道是作者想自己收藏

[murmur]

@jdhao 这是能备案的网站，应该是国内服务器，点了一下切换栏目和分页，卡的一笔，这站长可能弱智到索引都没加，稍微来点压力整站就炸了

[winnerczwx]

简单做下反爬吧

[datou]

果然是 wordpress....

[heiheidewo]

@jdhao 现在每天只有 6k ip， 等流量大点再放广告

[spark]

@heiheidewo 6k ip 是怎么看出来的？

[zyqf]

应该是有广告的，然后前段时间腾讯通知个人备案不允许挂广告。。。

[learningman]

@winnerczwx 然后顺便把 SEO 整挂

[yunyingsilue]

mamicode 和 bubuko 之类也是，就知道爬别人网站

[ushio]

很多这种垃圾站，所以现在我写文章都会给图片加上水印，插入自己公众号二维码

[han777]

UI 很像 hexo 的 next 主题啊

[han777]

这就是个静态网站

[Tianyan]

@han777 看起来像 next，不过确实是 wp 网站

[Tianyan]

@murmur wp 的网站 啥都不需要 只要服务器配置够高就行了

[xiqingongzi]

可能是这个哥们的？ https://www.v2ex.com/t/529521
他之前搞了个大专栏的开源项目

[hafuhafu]

这不是那种“内容农场”吗？爬 /生成一堆文章来提高自己 SEO，不过好像又没看到广告啥的..

[OKOOk666]

这不是很正常嘛，没什么大惊小怪的，我也有一个文学类的爬虫站 http://www.wlkankan.com

[jdhao]

@xiqingongzi 应该是的，他那个帖子里面的开源项目已经删了，看不到了

[jdhao]

@OKOOk666 正常个屁，爬取别人内容，也不表明来源，这叫正常吗