有人试过批量爬某个元素的时候爬不下来但是单独爬的时候却可以爬的情况嘛

2020-04-23 07:30:35 +08:00
 Waihinchan

想爬点东西 具体啥不太好说 但是发现在单个 url 下可以爬 做了一个 urllist 之后批量爬就爬不下来 也没有报错 就是一直卡在那没反应 有啥好的办法吗 是我的操作问题还是网站对这个元素做了一些什么防护手段呢

1101 次点击
所在节点    问与答
3 条回复
Waihinchan
2020-04-23 07:36:25 +08:00
补充一下。。如果切手机的 useragent 的话是可以爬下来的 所以应该是有办法 但是好奇为什么会存在这种情况呢。所以是不是网站设置了一些保护机制呢
jugelizi
2020-04-23 08:12:25 +08:00
访问超频率了吧 还有可能是进了蜜罐
Waihinchan
2020-04-23 09:14:58 +08:00
@jugelizi 只有那一个元素不行 比如我爬其他的标题或者一些尺寸之类的信息都可以批量爬的 而且我设置了间隔 …所以就很迷 而且没有报错…

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/665187

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX