求关注～一个 low 的爬虫框架，你可以吐槽！

[intohole]

想实现自带策略的抓取框架，现在努力中，你有兴趣加入这个工程吗？ 求轻虐，我小白！

https://github.com/intohole/xspider

我想各种解耦爬虫框架，奈何我小白！求各位大神照顾，多关注下，给我点动力 ，谢谢

主要是，为了各种节省资源（文件队列／ bloomfilter 过滤／文件存储），抓取网站使用！

[lhx2008]

感觉是不是有点为了解耦而解耦的感觉，扩展性也不太好

[intohole]

@lhx2008 可以看下这个～写了一段时间，感觉有些问题，自己在用，想不断优化；

[cheesea]

我比较想知道你怎么做限流的？

[intohole]

@cheesea 我也在思考这个问题

[intohole]

@cheesea 请问你这面有什么好项目或者策略推荐吗

[cheesea]

@intohole
木有～
我只知道 pyspider 用令牌桶算法来控制请求速率.

[cheesea]

@intohole
或许你可以写一个根据响应来智能调整请求速率的策略～

[intohole]

@cheesea 谢谢 我原来跟 pyspider 是一家公司的，我在策略组 ， 我会想想怎么集成策略