请问有没有什么著名的爬虫框架可以下载网站镜像、最好还能增量更新的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3749 天前的主题，其中的信息可能已经有所发展或是发生改变。

这边搜到几个
crawler4j
j-spider
WebLech
不知道哪个比较靠谱
另外还有吗？

第 1 条附言 · 2014-08-23 21:49:06 +08:00

似乎crawler4j还算靠谱，但是增量更新这个做得到么？真的没有人回答吗？

第 2 条附言 · 2014-08-24 14:38:47 +08:00

最近在研究scrapy，不知有没有熟悉这个的大神可以现身说法

目前尚无回复