我新学习 Python ,看了两个爬虫框架,觉得对我来说太重了,也不利于继续学习基础的知识,于是准备自己先写着。
1 、我封装好基本的 requests 库和写入数据库的文件,已完成。
2 、有 a,b,c,d....需要爬取的网站, 我个每个网站写一个爬取文件
a.py ,
b.py 每个都能单独的很好运行, 从列表读取待爬取的 url ,然后存入 redis 做队列,接着从 redis 获取 url ,爬取的文档页面内容 存入 mongodb 。已完成。
但问题是, 我每次都要逐个去运行
a.py b.py c.py.... 能不能一起运行呢?谢谢。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/285881
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.