后台管理系统导出数据拖死业务, 是否应该彻底分开两块系统?

[leaderhyh]

场景如下:
SpringCloud 全套, 数据库未分库,主从读写分离;

网关进来根据 api 进 微信微服务 手机 app 微服务, 后台微服务 等, 由这些微服务调用底层的 订单微服务 会员微服务等来完成业务逻辑或者组装数据;

现在后台微服务中的导出会员接口没有控制条数, 一下导出 30w+的会员数据(每个会员还要统计订单情况等), 导致会员微服务挂掉, 进而导致微信微服务无法获取会员信息,无法完成业务(业务要求可用性较高)

我的疑问是: 底层的订单微服务 会员微服务等 是否应该拆成两个, 一个给业务使用, 一个给后台管理系统使用, 且部署分开. 现在比如会员微服务下 MemberController 里面就既有后台增删改查的 又有业务上比如支付时扣减用户余额的, 是否拆开好一点(再次强调:业务要求可用性较高!)?求解答, 谢谢!

[neptuno]

搞个从库

[coderabbit]

我 mysql 实时同步 mongo.50 万数据 20 秒左右导出。一点不拖累服务！

[aru]

@leaderhyh 预算问题可以去每次动态申请一台抢占式实例去做这个事情，做完了就释放

[snappyone]

@leaderhyh 不是异步，重点是不要一次拉 30 万条

[xuanbg]

可以按导出需求做个小小的数仓，然后从数仓导出数据就不会影响到业务，而且导出速度也能提升到毫秒级。

[ytmsdy]

一次性导出 30w+的会员数量这个操作，应该是规避的高风险操作吧。
毕竟一次性导出这么多数据，除了拿出去卖，我想不到还有什么场景会用到这么多数据。

[arthas2234]

你如果是需要频繁导出的话，最好单独做一张表用来保存这些数据，到时候直接查出来就行了

[zoharSoul]

会员微服务挂掉 是什么意思?
内存溢出了?

[EastLord]

流式下载不行吗

[leaderhyh]

@snappyone 是异步生成文件 生成时每次处理 2000 条

[leaderhyh]

@leaderhyh 额, 我是指买 ecs 的钱, 这块预算不够

[leaderhyh]

@aru 额, 我是指买 ecs 的钱, 这块预算不够

[leaderhyh]

@EastLord 后面考虑 目前接触这块的人少且不熟练

[aru]

@leaderhyh 我也是指这个。 去试算一下抢占式实例的价格，如果你的计算一天只作一次，每次 1 个小时以内，还是挺便宜的。

[leaderhyh]

@aru ok 我去看看 thanks