开源 JAVA 爬虫，WebCollector，具有可扩展内核和爬虫基本类库，提供了一个界面。欢迎吐槽。
briefcopy · 2014-07-21 10:52:26 +08:00 · 5845 次点击这是一个创建于 3769 天前的主题，其中的信息可能已经有所发展或是发生改变。
开源爬虫内核WebCollector教程（CSDN连载）：
http://blog.csdn.net/ajaxhu/article/details/38010737
WebCollector的github官网：
https://github.com/CrawlScript/WebCollector
爬虫界面截图：
http://img.blog.csdn.net/20140721101005843?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvQUpBWEh1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
http://blog.csdn.net/ajaxhu/article/details/38010737
WebCollector的github官网：
https://github.com/CrawlScript/WebCollector
爬虫界面截图：
http://img.blog.csdn.net/20140721101005843?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvQUpBWEh1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
 |
1
gongweixin 2014-07-21 12:03:10 +08:00  1
粗略的扫了一眼，不能爬特定文件？比如图片，歌曲一类的，只能爬页面？
|
 |
2
briefcopy OP @gongweixin 什么都能爬，里面默认的那个demo，如果你爬合肥工业大学官网，里面所有的flv、图片、CSS、JS都会搞下来的。
|
|
3
briefcopy OP @gongweixin 请问您是想要什么样的需求？
|
|
4
gongweixin 2014-07-23 12:06:08 +08:00
我的意思是只爬图片,歌曲,别的都不要. 只爬特定文件.
|
|
5
briefcopy OP @gongweixin 没有问题，设定一下正则就OK
|
Select Language