网断了爬虫还在运行

2015-11-16 00:15:33 +08:00
 honmaple
听说程序员晚睡,谁能跟我解释一下网都断了,为什么还在爬取数据,而不是报错,这是什么原因
1911 次点击
所在节点    问与答
4 条回复
Victor215
2015-11-16 00:42:15 +08:00
贴出来 code 和 log 让我们看看……
owlsec
2015-11-16 03:48:42 +08:00
code&&log
owlsec
2015-11-16 03:49:07 +08:00
@owlsec 多打了个&(逃。。。
zhexue69
2015-11-16 09:36:15 +08:00
有可能上次采集本地有 cache ,爬虫默认策略先从本地 cache 读,就这样。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/236426

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX