分享个人开源的爬虫框架

[hyc5312]

工作的需求和个人的兴趣上开发了一个爬虫框架，目前功能比较简单，后续会不断的完善，希望大家给提点建议，对爬虫感兴趣的一起交流~。
github: https://github.com/heyingcai/cetty

功能介绍：
1.基于完全自定义事件处理机制的爬虫框架
2.模块化的设计，提供强大的可扩展性
3.基于 HttpClient 支持同步和异步数据抓取
4.支持多线程
5.基于 Jsoup 页面解析框架提供强大的网页解析处理能力

TODO:
1.支持注解方式
2.支持代理池
3.支持 Berkeley 内存数据作为 url 管理器，提供海量 url 存储并提高存取效率
4.支持热更新
5.支持爬虫治理

[WuMingyu]

借贴分享自己的开发的爬虫框架 https://github.com/strongbugman/ant_nest 楼主优先🐶

[maoyun234]

这不就是 webmegic 么，看着好像啊

[hyc5312]

@maoyun234 你说得没错，第一眼看起来确实很像 webmagic，但是实际上是站在巨人的肩膀上开发的，因为爬虫的套路都是差不多的，只是底层架构不一样，感兴趣的话可以去看看底层的源码，和 webmagic 的底层源码还是有比较大的局别的哦~

[runningman]

webmagic 玩过，之前遇到一些限制。空了看看你的。