有人用 Java 写爬虫吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2017 天前的主题，其中的信息可能已经有所发展或是发生改变。

11 条回复 • 2019-06-11 21:39:39 +08:00

calming

2019-06-11 17:02:08 +08:00

httpclient+jsoup 呗

leon0903

2019-06-11 17:14:23 +08:00

我记得好像有好几个 java 爬虫框架

shionri

2019-06-11 17:17:42 +08:00 via Android

用过 selenium java，写爬虫的话有点大材小用的感觉？

fenrao

2019-06-11 17:30:29 +08:00

webmagic

jiom

2019-06-11 17:40:43 +08:00

一楼的方案是最常用的了

tikazyq

2019-06-11 18:29:18 +08:00

可以尝试一下爬虫管理平台 Crawlab，支持任何语言、任何框架，可以用 Crawlab 集成你的 Java 爬虫

https://github.com/tikazyq/crawlab

c4f36e5766583218

2019-06-11 19:28:29 +08:00

retrofit 接 api 爬。

sean250031

2019-06-11 19:59:04 +08:00

bigbigeggs

2019-06-11 20:08:16 +08:00

写过好多。跟 python 没什么区别。就是拿到数据，然后清洗数据。
python：request + (bs4,re 等)
java： httpclent + (jsoup,re 等)

brucefu

2019-06-11 21:37:44 +08:00

去哪儿爬信息百分之 95 的 java

luozic

2019-06-11 21:39:39 +08:00 via iPhone

apache 组织有开源的爬虫和抽取数据框架，java 语言的