scrapy 框架支持通用爬取吗？想写一个通用爬取的框架，还要做到增量爬取，大神们给点意见和建议

2018-05-10 10:29:04 +08:00
 wei6666
1700 次点击
所在节点    Python
4 条回复
codepark
2018-05-10 14:33:06 +08:00
scrapy 可以的 以上两个问题 你定好自己的规则就 OK 了~
mimvp
2018-05-14 17:28:42 +08:00
可以的，Python scrapy 框架专门就是为了爬虫而生，具体使用可以在 github 上搜索下开源的项目
我使用 scrapy 框架做爬虫，需要使用到代理 IP，参考了 github 源码：
https://github.com/mimvp/mimvp-proxy-demo/tree/master/PythonScrapy
mimvp
2018-05-14 17:30:01 +08:00
@mimvp 可以直接下载源码，稍微修改下，就可以直接运行的，执行命令看下注释，很简单的，我成功了
wei6666
2018-05-17 18:12:33 +08:00
我写一个与公司业务对口的增量抓取框架，有哪位大神写过吗？能讲下或者分享下吗？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/453673

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX