请问 Python 爬虫，配合什么数据库效果最佳

[HTSdTt3WygdgQQGe]

要爬的数据量比较大，机器配置还不高，请问怎么搭配最优

[renmu]

MongoDB 简单粗暴

[lhx2008]

文本追加

[eq06]

多线程吗？多线程弄 SQLite 拆几个数据库呢

[w2er]

搬好小板凳，听大佬讲课

[tomczhen]

哪个数据库熟悉用哪个，爬太快小心变成 DDOS/CC 直接进去包吃包住。

[ClutchBear]

阿里云的 表格存储

[RicardoY]

配置不高就直接写文件 或者 MongoDB 现在 v2 一提到爬虫就是监狱警告..

[FaceBug]

配合消息队列先，再管数据库

[locoz]

数据量比较大是多大？配置不高是多高？爬完之后要做什么用？数据分析还是文本检索？啥都没有那只能说哪个熟悉用哪个了

[crclz]

只写过玩具爬虫。一点其他领域得来的拙见：如果存储空间够的话，postgres 的插入速度完全够用：用 N+1 个线程，N 个线程往 1 个 queue 里面写数据，1 个线程定期（ 100ms ）将数据 bulk insert 到数据库。普通的 insert 可能吃力。
也建议了解 Cassandra。
mongo 可能速度不够用。

[wangyzj]

kafka -> es

[scriptB0y]

Mongo 最简单实用了，感觉到千万的数据都问题不大。再大可能要具体情况具体分析了。

[dbow]

选一个 Key-Value 数据库用， 比如 leveldb, rocksdb 啥的， 自建 Mysql 顶不住千万级写入。

[ClericPy]

这个不能闭着眼来啊...
数据量大, 有多大? 不过单机放的下, 估计也不会有太大...
数据类型是什么样的, 结构化? 半结构化? 非结构化? 文章那种段文本?
用途是什么, 热数据还是冷数据, 给什么部门用, 怎么用

你这问的有点宽泛了, 如果是跟我一样的羊毛机, mysql 可以涵盖多数需求了, 几百兆内存能跑起来一个

[HTSdTt3WygdgQQGe]

大家分析的好专业，暂定 mongo 谢谢各位

[wangxiaoaer]

无脑用 MongoDB 的怕不是磁盘不要钱？

[0x400]

.csv

[sadfQED2]

mongodb 后期做分析好用，另外容错率高，比如爬价格，Mysql 你用 int 存，但是某个数据可能给你返一个“100 以上”，然后你就 GG 了，如果 mysql 用 json 存，后期分析数据贼难用

But，用 mongodb 可能机器配置要求比 mysql 高，装了 mongodb 的机器基本上没法干其他的了

[lc7029]

MongoDB

[encro]

分布式爬虫:
缓存队列在 redis 部署开发方便,
索引存 mysql 查询方便,
内容存 leveldb 压缩比好