redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?

[z1421012325]

半夜跑一个爬虫,第二天起来发现已经关闭了,数据也没有抓很多,但是 redis 数据库中的指纹都没有了,不是不主动清楚不会给清掉的吗?

还有 如果出现一些问题,比如 ip 池抽风了 很久没有更新了,但是爬虫还在用这个, 出现一堆"远程主机无法连接"导致卡住,是不是程序会在一定时间(30 分钟)自动关闭啊?

---

更新一个问题 分布式爬虫,但是 redis 数据库中只有 requests,没有指纹是咋回事?没有改源码

主文件修改 http://i1.fuimg.com/691087/2aae1d23cd8fe1ea.png

settings 文件修改 http://i1.fuimg.com/691087/3d03a6e6d2c679f2.png

[z1421012325]

更新--->>>>貌似是 redis 库的问题 爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..

[ebingtel]

@z1421012325 是 redis 数据“库”的问题，还是 redis 客户端“库”的问题？

[z1421012325]

@ebingtel 分布式爬虫我的数据是放在 mongodb 中的,所以是存放指纹的数据库问题,

更新一下,爬了五个小时 之后再去看发现数据库中的指纹都没了..

[yumenoks]

只有我是用 aiohttp 撸简易的分布式爬虫吗?..

[no13bus]

@z1421012325 加个微信，聊聊这块？我的微信 no13bus

[no13bus]

@yumenoks 嘻嘻。能否加微信聊聊呢？我也正在写 python 相关的抓取逻辑