V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  seedhk  ›  全部回复第 6 页 / 共 18 页
回复总数  357
1 ... 2  3  4  5  6  7  8  9  10  11 ... 18  
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@baibaibaibai #43 那么如果数据发生变动了,也要同步更新 ES 的数据吗,因为是查询后的数据同步到 ES ,更新逻辑也会很麻烦把?
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@heiya #39 谢谢回复

1 、ES 关联查询不如数据库那么方便,如果将查询后的数据汇总到 ES ,又涉及到数据变动更新的问题,不管怎么做都很复杂
2. 我是 RDS SQLSERVER WEB 版,目前来看只支持 DTS ,其他都不支持。
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@blackeeper #36 只能走阿里云的 DTS 做只读
@baibaibaibai 您的意思是,落库后的数据,根据复杂 SQL 查询出来后的结果再写入到 ES 吗?
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@z1829909 #32 哈哈哈 大家一起痛苦
@opengps 是这样的,但是因为没有审核 review 机制,真的很难推行,更何况是几年的老代码
@Atoony SQL 中包含了很多业务逻辑,AI 的效果也不好
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@z1829909 人力更不够(笑哭),而且 SQL 强关联业务,又不可能扔了业务需求完全不做来改 SQL 。
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@ala2008 这个真迁不了 哈哈哈 工作量太大了
@heiya #28 谢谢大佬的回复,原先的方案确实不合适,我已经否了,现在在考虑新的方案,主要是解决如何避免数据库挂了,以及如果数据库挂了如何保证业务可用的问题,针对您说的这几点我概括一下,您看我说的对不对

1. 如果是将大数据量的表同步到 ES ,那如何解决关联查询的问题? 还是说将关联查询的结果直接同步到 ES ?

2.阿里云的 rds sqserver 好像不支持从库,只能通过 DTS 同步。

3.索引是肯定有的,但是数据量太大,优化的工作量也不小,目前同步在做;

4.将核心业务迁出来,包括代码和数据库,避免影响到核心业务。

5. 分库分表暂时没有

6. 慢 SQL ,大 SQL 的报警都有,但是优化难度很大

7. 业务上的限制条件也是有的

8. 问了阿里云客服,除了买高可用和 DTS ,没有其他方案,自己做了部分冷数据的备份,但也仅仅是备份

9. 更换数据库成本太高了,而且领导层不一定支持,我综合一下方案往上提
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@blackeeper #21 是这样的,越是不可用的时候,用户越会不断重试刷新,因为解决这类问题,不是一套工具或者一个方案能解决的。相关的熔断限流都有,现在想解决的是数据库挂了的问题;
@mangodai #22 有这个能力就不会问这个问题了 哈哈哈
@0x663 #23 根本问题就在大 SQL ,但是远水解不了近渴,得先想数据库挂了如何处理的问题
@bellx #24 核心业务少,SQL 优化耗费的时间和精力都能接受
@ala2008 #25 好像 sqlserver 不支持从库
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@goodryb 是的,这个方案目前来看不合适,用 Redis 做查询缓存层更合适一些
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@cccb 谢谢,我看一下
@goodryb #14 正常流程肯定是当做读的缓存来用,就是考虑数据库挂的了情况下,如何解决的问题
@fatyoung #15 最大的几张表已经过亿了,做了数据库拆分,在太复杂 SQL 的情况下,一张表即使只有 1 2KW 的数据,查询也是有风险的
@adoal #16 请问有什么好的方案吗? 谢谢
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@bg7lgb 最常见的情况就是因为 SQL 太复杂,表数据量又太大,引起数据库 CPU 过高导致数据库服务不可用,一般重启就能解决,但是也要将近 10 分钟时间。配置目前是 16C 32G 次高,在网上就是顶配 16C 64G 。业务压力点是夏天,时间大概有 2-4 个月。
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@Varobjs 谢谢大佬,我司用的是 sqlserver
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@SoulSleep 谢谢大佬的指导

1.公司买的是阿里云的 RDS sqlserver ,除了 DTS ,不支持其他方式做主从或者读写分离;
2.精简在线业务库的单表大小、做慢 SQL 优化、优化业务逻辑 这些都有在做,也在拆分核心业务,但是数据库这一层始终没有非常好的办法解决。

列存数据库您具体指的是哪些?
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@bg7lgb 大佬说的是,这样加东西,只会增加复杂性和排查问题的难度,最根本还是得优化 SQL 。

有没有什么其他好一些的方案? 因为 SQL 优化是一个很漫长的过程,其中还牵涉到很多老的业务逻辑,那些 SQL 和表我看过,给我的感觉是一天能改好一个都已经不错了。
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@evan1 @bg7lgb SQL 优化已经在做了,但是远水解不了近渴。
275 天前
回复了 seedhk 创建的主题 程序员 关于数据库容灾缓存方案的咨询
@duuu Redis 是集群,并且开了 AOF
275 天前
回复了 seedhk 创建的主题 程序员 求一款符合需求的 Redis 开源中间件
@THESDZ 看了下不满足,谢谢老哥
@zzmark06 请问您当时是怎么实现的,可以说下具体的方案吗?
279 天前
回复了 iamtuzi3333 创建的主题 Vue.js 哭了,前端真的太难受了。
AI 只能辅助啊,自己有想法但是不知道怎么写可以找 AI ,AI 给出答案后还得自己看下满不满足要求,如果连 AI 给出的结果都不知道是否满足需求,那还是别用 AI 了,google 搜案例更合适
281 天前
回复了 Mark24 创建的主题 剧集 《西游记》细节真是丰富
看了楼上大佬们的评论,我感觉我的西游记白看了(手动狗头)
288 天前
回复了 NikaidoIsAGod 创建的主题 汽车 油车 suv 购买选择建议
雪佛兰,探界者(不知道停产了没
咸鱼淘个同城二手的玩玩呗,只要有可以停车的地方,骑行还是蛮有意思的。
1 ... 2  3  4  5  6  7  8  9  10  11 ... 18  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3133 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 11:34 · PVG 19:34 · LAX 04:34 · JFK 07:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.