写个脚本，递增 url 爬别的网站，算违反 robots 吗？

[qiongqi]

比如某网站的robots.txt为
User-agent: *
Allow: /
它的某类页面的url是有规律的，为 http://abchost/detail/123
我从1到100000遍历爬这类页面，算违反robots吗？

[msg7086]

不算。Allow: / 了。但是别爬太过火把人机器搞挂了。

[fclql]

LZ你女朋友也戴眼镜吗？

[qiongqi]

@Livid 计数bug了，我看到两个回复，然后进来只有1个

[msg7086]

2楼被删了或者折叠了。

[qiongqi]

还有个疑惑是：
如果 http://abchost/detail/555 从来没有出现在其它页面的href里，搜索引擎会抓到这个页面吗？

[Livid]

V2EX 有个功能叫 block，如果你 block 其他人，你就看不到他的回复了。这不是 bug，OK？

[alexkh]

User-agent: *
Allow: /
意思是所有的UA，允许抓取所有页面。

另外，自己的爬虫也不用都遵守这种规则吧。

[kennedy32]

奇怪，也不知道2楼是谁，我也看不到

[msg7086]

@Livid 我没有block任何人，不过我看不到2楼哦。所以我第一反应是折叠了。

[mkeith]

难道2楼这么遭人Block啊,我也看不见啊.

[Livid]

我可以看到，不过是一条毫无意义的灌水。估计是被其他管理员 hide 了。

[1994S]

我也看不见-_-a

[ChiangDi]

我一个人都没Block也没看到。

[dong3580]

这个应该没问题吧，不算违反robots协议。试试先访问一下协议内容再过滤抓。
——
我也看不到，表示我没block任何人。难不成二楼复读了一楼的了？

[txlty]

你个小脚本装什么蜘蛛。。

[Livid]

@mkeith
@dong3580
@ChiangDi
@1994S
@msg7086
@kennedy32
@qiongqi

你们觉得这样的 2 楼应该被处理么？

[msg7086]

@Livid Nice job! (话说我还是刚注意到LZ的头像

[arcas]

竟然还有其他管理员。。

[jeansfish]

啊，见到管理员的世界了。
歪楼不算灌水吧（事实上已经歪了
======================
楼主要爬V2EX吗？

[dong3580]

@Livid
这。。。也太水了。。。
这歪楼歪的，