这是一个创建于 760 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司做项目，项目的数据量级特别大，之前通过 python 搞的单台服务器的处理和业务逻辑代码处理不动了，所以上了 spark ，我之前对 spark 的理解是计算，基本就是提取一些字段，做指标统计，或者对海量数据做个清洗。
但是对于业务逻辑，之前用单机版实现的，基本都是 python 脚本去写 if else ，数据量小，也是实时处理的，对于需要缓存的内容就直接扔到 redis 里面了，但是 spark 或者 flink 去做这个事情，好像不容易写这种逻辑代码，缓存的话只是在用 flink 自身的状态，也不适合频繁和 es 、redis 这种数据库实时交互。
想请教下大家，对于传统的这种复杂的业务逻辑处理，当数据量巨大的时候，flink/spark 可以替代之前的框架完成吗？还是说这两个框架其实还是多用于统计分析。
但是对于业务逻辑，之前用单机版实现的，基本都是 python 脚本去写 if else ，数据量小，也是实时处理的，对于需要缓存的内容就直接扔到 redis 里面了，但是 spark 或者 flink 去做这个事情，好像不容易写这种逻辑代码，缓存的话只是在用 flink 自身的状态，也不适合频繁和 es 、redis 这种数据库实时交互。
想请教下大家，对于传统的这种复杂的业务逻辑处理，当数据量巨大的时候，flink/spark 可以替代之前的框架完成吗？还是说这两个框架其实还是多用于统计分析。
 |
1
liprais 2022-10-25 18:05:24 +08:00 via iPhone
你自己在算子里面调 redis 没人拦着你
|
Select Language