zyy1245367562 最近的时间轴更新 zyy1245367562 最近的时间轴更新 |
zyy1245367562V2EX 第 258718 号会员，加入于 2017-10-10 20:42:05 +08:00 |
| scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ Python • zyy1245367562 • 2017-12-06 09:03:17 AM • 最后回复来自 toono | 14 |
zyy1245367562 最近回复了
2018-01-28 10:57:24 +08:00 回复了 Codewj 创建的主题 › Python › Python 分布式的一点小疑问 |
所谓分布式其实就是人多好干活儿，通过队列利用多台机器来提高抓取速度，获取的数据如何存放，不是其根本要解决的痛点。
2017-12-05 19:30:01 +08:00 回复了 zyy1245367562 创建的主题 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
@lihongjie0209 嗯，受教了。谢谢前辈。
2017-12-05 19:29:16 +08:00 回复了 zyy1245367562 创建的主题 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
@fds 嗯，你说的对，这一点确实没有考虑到。
2017-12-05 19:26:28 +08:00 回复了 zyy1245367562 创建的主题 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
@kenzh 你的建议可以实现。谢谢。
2017-12-03 14:48:52 +08:00 回复了 zyy1245367562 创建的主题 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
怎么没有前辈来指教一下呢？
Select Language