首页   注册   登录
 noobpythoner 最近的时间轴更新
noobpythoner

noobpythoner

V2EX 第 229286 号会员,加入于 2017-05-05 18:55:40 +08:00
noobpythoner 最近回复了
2017-06-08 13:02:53 +08:00
回复了 gap 创建的主题 Python Python 程序员的是被称为 Pythonista 吗?还是 Pythoner?
oh,糟了
2017-06-08 12:52:23 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 下载图片到 4w 张左右总是会卡住
可以使用 scrapy_redis 来完成,所有的去重都是通过 redis 来完成的,还能够做到状态保持,如果需要可以实现分布式,redis 的内容类似下面,
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"

或者可以迭代的读取数据库的内容,下一次请求之前从内存中删除上一次的请求地址,类似 https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过,但是应该是可行的
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2193 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 16ms · UTC 11:20 · PVG 19:20 · LAX 03:20 · JFK 06:20
♥ Do have faith in what you're doing.