这家网站的每篇文章都有一个子域名

[miniwade514]

首页 http://blog.ciytan.com/

里面的一篇文章 http://mtpdhpgc.ciytan.com/

仔细看了下，文章都是文不对题的，这是不是传说中的垃圾站？

一篇文章一个域名，他是人工完成的么？

[ETiV]

泛域名解析

[binux]

爬虫的大部分规则是根据域名做的，通过泛域可以绕过这些规则

[dingyaguang117]

@binux 他这样的让爬虫认为是不同的site，好处是？

[loading]

为了避免ciytan.com被判垃圾站

[binux]

@dingyaguang117 比如首页提权，比如单站点收录上限，比如站点抓取配额。不过，对应也会有对应的泛域挖掘策略就是了。

[miniwade514]

@ETiV 然后在服务器上根据URL“重定向”？不知道用词是否准确

@binux 它的www域名指向一个广告页面，但是文章页上也没有指向WWW域名的链接，他弄这么多页面是不是没什么用啊？

@loading 原来如此 :D

[msg7086]

@miniwade514 不是重定向。就是简单的URL美化。只不过一般是只重塑URI，而这里是重塑二级域名