请问有没有什么著名的爬虫框架可以下载网站镜像、最好还能增量更新的

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

谷否 | 三分谷地，为你喜欢

AI 大模型 + 柔性供应链，不仅可以为你测试香水味道，还能一件定制实体香水，快速发货。

Promoted by wuqiwen

这是一个创建于 3968 天前的主题，其中的信息可能已经有所发展或是发生改变。

这边搜到几个
crawler4j
j-spider
WebLech
不知道哪个比较靠谱
另外还有吗？

第 1 条附言 · 2014-08-23 21:49:06 +08:00

似乎crawler4j还算靠谱，但是增量更新这个做得到么？真的没有人回答吗？

第 2 条附言 · 2014-08-24 14:38:47 +08:00

最近在研究scrapy，不知有没有熟悉这个的大神可以现身说法

目前尚无回复