Python 爬虫问题

2018-06-19 17:34:26 +08:00
 bestehen
我有 7 个网站需要爬，但是每个网站抓的数据很少很少，这个 scrapy 里面是 7 个 spider 处理还是放在 start_urls 里面处理比较好
1610 次点击
所在节点    Python
3 条回复
Leigg
2018-06-19 22:48:42 +08:00
网站结构差不多就在一个 spider 文件中完成，解析代码肯定是爬完一个又得改一下的，丢一个 start_urls 列表也没啥问题
airhunter
2018-06-20 10:53:36 +08:00
怎么简单怎么做，目前来看丢 start_urls 比较简单
beforeuwait
2018-06-20 17:46:55 +08:00
支持 1 楼

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/464156

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX