用循环爬网站子页面， requests,bs4，有什么要注意的么？

2017-03-09 09:52:47 +08:00
 sundays

可能是我没配对环境，反正 scrapy 现在用不了，就只能写正常脚本爬，除了加 time.sleep 还有啥注意事项啊，没用过几次 requests 库...

2272 次点击
所在节点    Python
3 条回复
freeminder
2017-03-09 10:09:41 +08:00
换 UA ，有条件就换 IP ，最好把不是必要的 BS4 解析移出去，比如最终需要的那个页面先别做结构化解析，保留 html 就好。另外注意列表页的互斥，尽量在爬列表页的时候保证列表的内容也没什么重复最好。
chendajun
2017-03-09 10:30:32 +08:00
配置 scrapy 环境， linux 比 windows 简单些。
Akkuman
2017-03-09 23:48:53 +08:00
soup 解析，一般可以一行写完，用列表推导式

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/346042

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX