网络爬虫的云服务，这个东西可行吗？

2015-01-04 15:50:54 +08:00
 fising

网络爬虫的云服务，这个东西可行吗？

解决IP不够用或者被封的问题。

3591 次点击
所在节点    问与答
16 条回复
irainy
2015-01-04 15:53:07 +08:00
为何不干脆再进一步 可定制云API 服务
liangdi
2015-01-04 15:56:47 +08:00
IP通过代理解决？
sing1ee
2015-01-04 16:05:13 +08:00
可行的，我们之前做得微博爬萌就是类似
binux
2015-01-04 16:08:43 +08:00
http://scrapinghub.com/
mhycy
2015-01-04 16:09:29 +08:00
那么只要在你那买个套餐就能把你整站IP给封了~
ipconfiger
2015-01-04 16:12:01 +08:00
爬虫说白了就是一个任务分发系统，用来分发两个任务：取网页，分析抓取特定部分入库。很多PAAS平台已经有了这些功能的基础了，比如SAE或者BAE什么的
ykjsw
2015-01-04 16:15:38 +08:00
可以爬Google吗：）
hansnow
2015-01-04 16:35:02 +08:00
八爪鱼就有云服务……按条收费的
fising
2015-01-04 16:35:57 +08:00
@hansnow 地址？
fising
2015-01-04 16:36:29 +08:00
@ipconfiger 有吗？
fising
2015-01-04 16:36:42 +08:00
@sing1ee 你们是如何实现的呢
fising
2015-01-04 16:37:08 +08:00
@mhycy IP不会全部公开给会员。你懂的。
hansnow
2015-01-04 16:39:16 +08:00
@fising http://www.bazhuayu.cc/

一个比较low的软件。一般用这个的都是非技术人员。
sing1ee
2015-01-04 16:47:03 +08:00
@fising 众包形式的软件
invite
2015-01-04 17:32:44 +08:00
你的云IP，不也就那么几个么，知道了还是被封。
fising
2015-01-04 17:56:46 +08:00
@sing1ee 具体怎么操作的啊

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/159095

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX