python 爬虫有 scrapy 框架， java 或者 scala 写的爬虫有什么框架？

[professorz]

其实还有一方面，想知道java爬虫相对于Python爬虫有什么优势吗，Python的爬虫那么容易入门，开发那么方便。。。
（我发到这个版是因为觉得java版关注爬虫的应该没有这个版多）

[xiaocsl]

http://jsoup.org/
HTML解析器
从它开始的我第一个java爬虫

[xxer]

我感觉你弄颠倒了，爬虫最厉害的还是java

[FeiMa]

Nutch 这个是 Java 的。多了解一下。

[zhfish]

jsoup超帅

[xuyankang]

WebMagic是我实习公司的一位同事做的，用起来还不错。

[shoumu]

Top 50 open source web crawlers for data mining
http://www.bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/

[ZOwl]

看规模吧，大规模的话就要考虑语言的运行时效率等因素了，这个时候开发效率不一定有那么重要

[hadesqiao]

mark

[doushini]

httpclient+htmlparser

[professorz]

@xuyankang 一个月前我看到你的回答没重视到，今天偶然Google进了这个webmagic的项目页面，看了一天没停下来，觉得将近浪费了一个月5555.
如果可以的话，转告你同事他做的太棒了。
顺道感谢Google，感谢github。