现在 Java 爬虫有啥推荐的么？ webmagic 很久没维护了

2019-04-28 11:49:29 +08:00
 h8743
4988 次点击
所在节点    Java
15 条回复
FightingX
2019-04-28 12:31:23 +08:00
我一般基于 httpclient 自己写下载器
h8743
2019-04-28 13:44:44 +08:00
@FightingX 重复造轮子不舒服
xioxu
2019-04-28 14:24:37 +08:00
虽然平时我也写 java， 但爬虫我还是喜欢用 python 的 scrapy, 简单好用， 爬虫常用场景都有内在支持。
fwrq41251
2019-04-28 14:29:27 +08:00
https://github.com/akullpp/awesome-java#web-crawling
yestodayHadRain
2019-04-28 16:55:22 +08:00
Gecco 了解一下,我也是这几天刚接触的,感觉还是挺方便的
swuzjb
2019-04-28 17:23:06 +08:00
Jsoup
canbingzt
2019-04-28 17:31:20 +08:00
这种框架如果没有遇到 bug 的话，更新不更新应该是无所谓的吧，能满足需求就行了啊
quadrapop
2019-04-28 17:49:50 +08:00
python 写爬虫就行，反正都是保存到数据库
java 一般我们用 Jsoup，还可以
uminokoe
2019-04-28 18:23:26 +08:00
歪个楼，遇到需要使用 selenium 的情况用什么框架好呢？
lqw3030
2019-04-29 08:17:23 +08:00
jdk11 开始内置 httpclient,可以配置 cookieMnager 自动管理 Cookie
zhangjinglongi
2019-04-29 09:18:34 +08:00
dongliu 的 reuqests 也挺好用的，模仿的 python 的
ala2008
2019-04-29 09:36:03 +08:00
一般使用就可以了吧
xinQing
2019-04-29 21:40:08 +08:00
这个 webmagic 很成熟了啊，源码也比较简单，推荐使用～
h8743
2019-04-30 08:33:08 +08:00
@xinQing get
wiix
2019-05-05 02:11:17 +08:00
手撸一个

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/559426

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX