scrapy 的问题

2018-11-09 22:03:23 +08:00
 moxiaowei
Crawled 98 pages (at 1 pages/min), scraped 0 items (at 0 items/min) 这句话是什么意思?特别是 “ at 1 pages/min ”,和“ at 0 items/min ”是什么意思?
2020 次点击
所在节点    Python
4 条回复
Trim21
2018-11-09 22:19:33 +08:00
这分钟(两次 log 的 1 分钟间隔)里爬了一个网页, 处理了 0 个 item....
moxiaowei
2018-11-09 22:21:53 +08:00
@Trim21 什么叫两次 log 的一分钟间隔里?是不是类似下面的 log

2018-11-09 22:20:26 [scrapy.extensions.logstats] INFO: Crawled 99 pages (at 2 pages/min), scraped 0 items (at 0 items/min)
2018-11-09 22:20:28 [scrapy.core.engine] DEBUG:
Trim21
2018-11-09 22:25:51 +08:00
@moxiaowei #2 你把 log-level 设置成 info 就看出来了
moxiaowei
2018-11-10 10:37:20 +08:00
@Trim21 好的 谢谢你

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/506293

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX