有什么开源爬虫,请推荐

2015-09-28 23:13:32 +08:00
 sewyu

是这样,我打算撸个小破网站,专门发布那些类似 “新用户注册,享受 xx 优惠”的新闻。 全靠手动不行啊,所以想找个合适的爬虫。大家推荐下呗。
谢谢

6382 次点击
所在节点    程序员
42 条回复
soratadori
2015-09-28 23:26:54 +08:00
自己写啊,又不难
wangd
2015-09-29 00:22:51 +08:00
scrapy
pupboss
2015-09-29 00:25:45 +08:00
一流社区靠信仰,二流社区靠主题,三流社区靠福利
heian0224
2015-09-29 00:31:31 +08:00
@pupboss
所以 v2 是几流社区呢
pupboss
2015-09-29 00:33:50 +08:00
@heian0224 我加入时间很短,没资格评论...
imlonghao
2015-09-29 00:36:21 +08:00
pyspider
msg7086
2015-09-29 02:09:06 +08:00
@heian0224 1+2+3 = ?
zts1993
2015-09-29 07:16:28 +08:00
scrapy 啊
gzlock
2015-09-29 08:39:04 +08:00
nodejs 也挺容易啊,昨晚写了个队列任务+多线程采集,开了 50 个线程做测试, console 刷的飞快, 2333
tobyxdd
2015-09-29 09:03:49 +08:00
v2ex 六流社区😂😂
gzlock
2015-09-29 09:11:19 +08:00
@tobyxdd 吃枣药丸系列?
mariadb
2015-09-29 09:46:24 +08:00
@gzlock node.js 还有多线程???
jedyu
2015-09-29 09:50:07 +08:00
@msg7086 1+2+3 =t66y
jimmyzhang33
2015-09-29 10:16:33 +08:00
scrapy 吧,看一下教程,基本功能就可以实现了。
des
2015-09-29 10:19:24 +08:00
@gzlock nodejs 多线程支持好像不好?
ssltest
2015-09-29 10:22:43 +08:00
你这个问题问的好符合我的心意啊,以下内容希望你会喜欢。
http://project.codefrom.com/?w=%E7%88%AC%E8%99%AB
http://project.codefrom.com/?w=spider
sewyu
2015-09-29 11:16:05 +08:00
@ssltest 对,你这个网站 我也是昨天才发现的。非常好 谢谢
@jimmyzhang33 真没接触过,我这几天看一下材料,谢谢
XianZaiZhuCe
2015-09-29 11:19:18 +08:00
@pupboss 我觉得福利第一位。
plqws
2015-09-29 11:25:13 +08:00
同样推荐 pySpider
kepenj
2015-09-29 11:29:22 +08:00
改主题吧~ 专抓 1024 最新福利~ 保准大神 分分钟出现解决各种疑难杂症~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/224374

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX