关于分布式爬虫的问题

[lieyan]

请教一下，目前有没有那种开源的或者付费的分布式爬虫系统？可以进行深度爬取整个网站的那种？

优先考虑开源的，自己撸了一个，效率不大行。。。

[czfy]

深度爬取整个网站，这是想干嘛
付费的肯定有，八爪鱼之类的
不过你这想要深度爬取，可行性不是问题，风险才是问题

[lieyan]

@czfy 我这里风险不是问题，可行性差了点。。。我们做的都是合法的，爬取之前会得到用户的授权 。

[lieyan]

@czfy 八爪鱼不符合我们的业务，我们不做页面数据分析。。只需要爬取出来就 ok

[manzhiyong]

抓起来的都是获得过授权的

[RudyS]

我们自己开发

[lieyan]

@manzhiyong 这个。。。。不过我们业务特殊，没这个风险

[lieyan]

@RudyS 有啥建议吗？包括突破反爬技术这个你们是怎么弄的？

[snappyone]

@lieyan 你都合法了，还搞啥反爬？

[Lemeng]

爬整个站啊，好吧

[sjmcefc2]

teleport