想问下有没有通用的类似爬盟中国那种众包爬虫组织?

2017-12-24 09:49:01 +08:00
 RangerWolf
其实还是自己在写爬虫的时候, 到处求爷爷告奶奶的请别人把自己的一个爬虫放到服务器之中, 非常轻微的占用别人的一些带宽。

之前爬盟中国就是类似这种众包性质,大家一起去爬新浪的数据。
但是那个客户端是写好的, 目标也是固定的。 不知道有没有那种通用的平台。
相当于任务发布方按照某种规定的格式发布任务, 任务接收方通过平台获取任务, 完成任务之后,获得一定的奖励。
4565 次点击
所在节点    奇思妙想
10 条回复
schoolers
2017-12-24 10:14:42 +08:00
建一个吧
caomu
2017-12-24 10:17:31 +08:00
爬虫托管好像还没看见过
但是模板式的爬虫,之前应该是 @biunx 做过。
caomu
2017-12-24 10:17:59 +08:00
RangerWolf
2017-12-24 12:52:28 +08:00
@schoolers 研发出来你会买这种服务吗? 哈哈
function007
2017-12-24 12:53:55 +08:00
神箭手 http://www.shenjianshou.cn/ 这种?
binux
2017-12-24 17:20:12 +08:00
世界加钱可达
schoolers
2017-12-25 11:19:03 +08:00
@RangerWolf 我本身也是做这块业务的,我会买也会卖
jyf
2017-12-26 10:49:46 +08:00
我曾经想做这一块 但是我不是搞安全的 平台真做起来 应该会有好多灰产的人来攻击 所以作罢了
其实他这个做得还不够 应该做成类似 js 的 fetch 那样的接口
RangerWolf
2017-12-26 13:19:01 +08:00
@jyf js fetch 是指?
jyf
2017-12-27 10:08:43 +08:00
@RangerWolf javascript 里有个叫 fetch 的接口 用来代替 xmlhttp 这种老式 ajax. 其实你做成 rpc 服务也成 有机会大家研究下?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/417180

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX