写个脚本，递增 url 爬别的网站，算违反 robots 吗？

[qiongqi]

比如某网站的robots.txt为
User-agent: *
Allow: /
它的某类页面的url是有规律的，为 http://abchost/detail/123
我从1到100000遍历爬这类页面，算违反robots吗？

[Livid]

@dong3580 我只是不希望我们维护社区氛围的努力被误解成 bug 或者什么黑箱操作。

[wy315700]

@Livid 能不能这么做，把折叠放到前端，然后提供一个按钮展开，既方便大家查看被Hide的，同时大部分人也看不到被hide的内容，提供个建议而已。

[dong3580]

@Livid
理解。
但是不知道为什么，第一下看到，确实是不相信，反而觉得可能是“黑箱操作”，我为什么会这么想呢？

[yangqi]

@Livid 虽然不是bug，但是因为没有公开操作或者提供些信息，所以很容易让人误解。算是设计或者是展示上的bug吧

[coosir]

最好显示如：23回复（1折叠）
点击折叠数可展开

[Livid]

@wy315700
@dong3580
@yangqi
@coosir

为了一些根本不值得关注的垃圾信息，花时间去写代码来优雅地处理？说真的，我更宁愿把时间花在一些更有用的事情上。

[yangqi]

@Livid 至少你也同意了这是优雅的处理，对于完善一个社区来说why not? 至于你说的时间和优先级上面你比大家更清楚，大家也只是提建议而已。

[Livid]

@yangqi V2EX 的 UI 和很多其他软件的不同就是，我们一直在尽量从 UI 上拿掉那些没有意义的东西。

垃圾内容就应该彻底不要有任何曝光，这种时候为它放一个按钮，纯粹是浪费所有人的时间。

[yangqi]

@Livid 采不采纳是你的自由，大家的建议就一个目的，让被删或者被隐藏的帖子至少有个提示。

而且二楼内容是不是垃圾内容这个个人看法不一样的，我觉得只是歪楼了而已，不算垃圾啊。如果任何人的内容都可以被删除或者隐藏，只是基于管理员个人的喜好和判断的话，对于社区来说绝对不是好事。

[Livid]

@yangqi /t/115661

:-)

[Livid]

@yangqi 如果对 troll 太善良，最后损失的是整个社区的氛围。

[kqz901002]

@yangqi Livid is God...

[shakoon]

原来这里除了站长还有其他管理员啊，我一直以为就一个人

[mikuazusa]

不能忽略这里确实有个BUG...
正常逻辑应该是Block之后用户见到的回复数量还是显示出来的数量而不是包含被block了的数量吧?
起码单纯地从用户的角度说,看到了一个错误的数字可能会导致更多的误解...@Livid

[Livid]

@mikuazusa 那我希望大家能够有个默契就是，如果在 V2EX 看到某些楼层没显示出来，那么只有几种可能就是：

- 那个人被 block 了
- 那层楼是纯粹的不需要关注的无意义信息

如果这个地方动态计算的话，造成的后果就是每个人看到的楼层数都不一样，因为每个人的 block 列表不一样。

[yfdyh000]

@Livid 那么把隐藏的内容从回复总数中减掉吧，反正没人看得见。但既然不想写多余的代码，干脆直接把回复总数和“直到 ...”拿掉吧，反正右侧有序号，似乎“没有意义”。

现在上面写着“33 回复”，下面却只有32个回复，就好像用户不识数一样，绝对不是良好的设计。

[Livid]

@yfdyh000 我们同时回复了，见我 35 楼的答复。

我不希望造成每个人看到的楼层数不一样，所以这个地方不会改。

[yangqi]

@Livid 最简单的就是加一句话，“此楼已被隐藏(Block)之类的”。本身一层楼隐藏就有多种可能，被隐藏没有提示肯定会让人迷惑。

看了这个贴的肯定都知道怎么回事了，但没看到的呢？新用户呢？

[yfdyh000]

@Livid 用户真的该花费这种学习成本吗。RTFM？但这连手册都没有呢。
如果真的希望保持一致，那么：右侧的楼层号目前是显示序号，而不是真正的序号，这样真的好吗，讨论指向可能出现错位。如果那是真正的序号，这个问题也将有所缓解。

总之，不太满意这种略显诡异的设计，但如果站长坚持，只能。。。

[Livid]

@yangqi 人性就是，如果你在那里放一行字，说“这里被隐藏了”，然后现实是，会有更多的人去点。然后点开一看，毫无意义。

这种设计就是在浪费所有人的时间。