morost 最近的时间轴更新 morost 最近的时间轴更新 |
morostV2EX 第 618693 号会员，加入于 2023-03-14 09:57:44 +08:00 |
| 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 程序员 • morost • 186 天前 • 最后回复来自 Mogamigawa | 77 |
morost 最近回复了
188 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@user919lx #43 谢谢！这个建议很实用！我们会把这个链路考虑进去的
188 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@justplaymore #36 感谢老哥的解答，我们已经在复盘了
188 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
谢谢大伙的建议，爬虫这边与数据库这边确实不太熟，半路做的东西，认真听取了各位朋友的建议，现在第一是优化 MySQL 现有的查询吧，其次我会好好去了解大家提出来的其余的方案，斟酌一个最适合的。感慨自己需要学的东西还有很多。
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@gazi #17 谢谢解答，我这就去优化一下索引相关
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@keyfunc 老哥细说一下呢
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@tikazyq 我自己这边找的方案现在是在 mongodb 和 PostgreSQL 之间比较，那我先去看看 mongo
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@me1onsoda 谢谢回答， 我去调研一下这个 db
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@pota 谢谢回答，我去调研一下
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@KongLiu 产品设计导致只能放在一张表里，哎
189 天前 回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@sagaxu #7 那只需要建立高质量索引就不需要更换 db 了这个意思嘛，我一开始是认为 MySQL 对于大数据量的支持不是很友好才想要更换 db 的
Select Language