大数据 Spark、Flink 对于复杂业务逻辑处理是否有些吃力

2022-10-25 18:02:05 +08:00
 dtgxx
公司做项目,项目的数据量级特别大,之前通过 python 搞的单台服务器的处理和业务逻辑代码处理不动了,所以上了 spark ,我之前对 spark 的理解是计算,基本就是提取一些字段,做指标统计,或者对海量数据做个清洗。
但是对于业务逻辑,之前用单机版实现的,基本都是 python 脚本去写 if else ,数据量小,也是实时处理的,对于需要缓存的内容就直接扔到 redis 里面了,但是 spark 或者 flink 去做这个事情,好像不容易写这种逻辑代码,缓存的话只是在用 flink 自身的状态,也不适合频繁和 es 、redis 这种数据库实时交互。
想请教下大家,对于传统的这种复杂的业务逻辑处理,当数据量巨大的时候,flink/spark 可以替代之前的框架完成吗?还是说这两个框架其实还是多用于统计分析。
1056 次点击
所在节点    问与答
2 条回复
liprais
2022-10-25 18:05:24 +08:00
你自己在算子里面调 redis 没人拦着你
dtgxx
2022-10-25 18:08:15 +08:00
@liprais #1 好像悟了,直接用 flink 写复杂业务逻辑应该也没问题

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/889777

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX