爬虫实践基于 webmagic，目标用 5 分钟就可以爬一个网站（你懂的）

[ihuotui]

爬虫实践基于 webmagic ，提供一个例子用于层次化主题帖子和二级帖子及内容。

webmagic 介绍 https://www.oschina.net/p/webmagic

5 分钟实现爬 oschina 帖子 https://git.oschina.net/ihuotui/webmagic-sample

目标

1 遍历主题列表

2 读取主题详情页，获取目标文件或者图片或者内容

3 （可选）读取主题详情页下一页，获取目标文件或者图片

4 （可选）下载目标文件

说明，使用 redis 作为进度保存。

基于以上目标

1 写了一个抽象类 AbstractPageAndSubPageProcessor 作为遍历抽象，子类集成后，实现一些逻辑就可以运行。

2 使用 DownloadUrlFileThread 来下载具体文件。

3 测试方法运行 test 目录的 AbstractPageTest

[spice630]

臃肿的 java 推荐你学下 golang
https://github.com/songtianyi/laosj

[ihuotui]

@spice630 差不多，工作主要语言是 java 所以只能用 java 写了。

[jurant]

唉 java 看一半就没学了.

[luban]

webmagic 设计还是很好的

[zgqq]

@spice630 写过一个跟你这个很像的，也是抓黄图的，也是用 golang 写的，然后又跳坑了，用回 java

[spice630]

@zgqq 为啥啊兄弟，我那个是轻量级的，还有重量级的幽灵蛛，不过我没用过 不好评价。
golang 好维护。

[zingl]

5 分钟可以开始爬一个网站

[zgqq]

@spice630 国内还是 java 用得多，另外 golang 的异常处理让我感觉不习惯

[ihuotui]

@zingl 嘿嘿