JAVA 爬虫 WebCollector 2.x 入门教程——基本概念

[briefcopy]

JAVA 爬虫 WebCollector 2.x 入门教程——基本概念

摘要：
WebCollector 是一个无须配置、便于二次开发的 JAVA 爬虫框架（内核），它提供精简的的 API ，只需少量代码即可实现一个功能强大的爬虫。 WebCollector-Hadoop 是 WebCollector 的 Hadoop 版本，支持分布式爬取。

[ca1123]

你写的？

[briefcopy]

@ca1123 是的

[SparkMan]

爬虫的关键（或者难点）是如何不被封 IP ，至于怎么抓取页面 httpclient 跟其他组件都差不多

[lx19930805]

@SparkMan 恩恩.然后呢?如何不被封 IP?
被封 IP 是因为多次大量的访问某个域名的网址吧,刚接触是这么理解的

[geekboy]

最近研究的是爬虫的增量更新问题~用的 webmagic 框架！

[briefcopy]

@SparkMan 爬虫的关键，是爬取允许爬取的数据，有效利用。比如搜索引擎还是要遵守 robots.txt 的。反爬就是网站不想让你爬，用随机高匿代理之类的解决反爬技术很成熟，但是有点抢劫的性质。

[sefemp]

@geekboy 是说诸如论坛数据之类的么

[zonghua]

@SparkMan 关键不是分析数据？

[ooTwToo]

头像有点像汪峰。

[briefcopy]

@ooTwToo 这明明是斯诺登。。。。