关于 elasticsearch 机器的选择

2023-11-29 15:59:32 +08:00
 Q9K

我们小组现在有 2000-2500 的预算购买一个服务器,我们的数据量在 1 亿到 10 亿之间, 我们需要购买一个月的云服务, 最后验收的时候需要达到秒级查询和 1000-10000qps 的要求, 我们看了一下华为云的服务器,这个预算可以让我们买 3 台 4 核 16G 的机器 或者 1 台 8 核 64G 的机器 我们想问一下 我们应该怎么选择 或者大家有没有推荐更好的选择

2724 次点击
所在节点    Elasticsearch
29 条回复
neoblackcap
2023-11-29 22:05:47 +08:00
@Q9K 当然了,腾讯那边是每台是 1000qps 这样子,不过他们是有做分流
cdlnls
2023-11-29 22:14:13 +08:00
如果内存能一次性放下所有的文档索引,磁盘 io 就算不用高配的,也没啥问题。数据量在几亿条,内存应该是够的。
如果是我的话,大概率会选几个 4C/32G ,700 一块钱/月。3 台正好 2100 。

我的建议是 ,可以开几个 按量计费/竞价实例 的 ECS 实例,把服务搭起来,数据导入进去,一天时间够测试完了,总费用不会超过 50 块钱。这样测试完了就知道该买什么配置的了。
cdlnls
2023-11-29 22:19:36 +08:00
基本上,遇到选机器配置的情况,我都是建议开 按量计费/竞价实例 实际测试一下,什么配置能选,什么配置不能选,基本上测试一下心里就有数了,开按量付费/竞价实例基本上也花不了多少钱。
nicoljiang
2023-11-29 22:20:13 +08:00
@Q9K 还得看你查询的复杂度。因为上亿的数据是个非常大的量级,但是看你的数据量也可大可小。但基本上不太可能都是内存可以容纳的级别。
mjikop1231
2023-11-30 14:10:29 +08:00
mjikop1231
2023-11-30 14:11:26 +08:00
#25 先按查询场景去 banchmark 上对照一下呗,然后抗 1000 qps 你让缓存去抗,es 自己单机是不太好抗的
Q9K
2023-12-01 15:04:49 +08:00
@mjikop1231 哦哦好的,我去看看
Q9K
2023-12-01 15:05:29 +08:00
@cdlnls 也想过按量付费,但是担心自己短时间内搞不定就多花很多钱 555
Q9K
2023-12-01 15:07:07 +08:00
@neoblackcap emmm ,我们这个就是学校的软工大作业项目,好多东西也不懂,1000qps 其实对我们来说还不知道意味着生产是怎样的一个级别

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/996268

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX