[数仓交流帖] 数仓职业交流贴

[comsweetcs]

有搞数仓的老哥嘛？一起交流下？觉得这个职业能做一辈子嘛？离开了大厂，不需要了大数据的话，能干啥？我时常有这样的焦虑。

[LeegoYih]

我们公司数仓都被裁了大半了

[lifanxi]

俺们是做实时数仓产品开发的，让本来只能离线跑的 OLAP 查询实现 Ad Hoc 交互式地查询。虽然现在实时数仓不可能一下子替代传统的数仓，不过在很多场景下我们的实时数仓都能实现“一站式”的数据服务，让应用的开发更简单。有兴趣的同学欢迎来勾搭。

[needpp]

@Songxwn 同感

[dayeye2006199]

我之前做过一阵 reverse etl ，说实话，搞起来挺难的。对一致性，容错，性能都有很高的要求。

[haimianbihdata]

大数据没实权, 推不动业务侧改革。。。。裁员首选

[xscit]

是开发报表吗？

[akira]

茶树菇

[comsweetcs]

@haimianbihdata 这是很普遍的一个问题。

[comsweetcs]

@dayeye2006199 这和普通的 etl 有啥区别？你说的一致性、容错我理解基本都是技术层面的事。

[comsweetcs]

@xscit 哈哈哈哈，每个公司不一样，但是如果说开发报表，那就是应用层的事了。

[comsweetcs]

@LeegoYih 大佬啥公司，后端没裁？

[comsweetcs]

@lifanxi 看来我还是得转实时，还能写点代码。

[dayeye2006199]

@comsweetcs 逆向就是推数据从数仓到其他系统的 API 。比如同步产品数据到电商店铺里面去。

这个同步过程需要考虑挺多东西
如何记录状态，从而增量同步？
数据很多如何加快同步速度？
API 有限流，怎么在加快速度的同时不超过限流？
某几条数据同步失败了，重试和重试失败的策略是啥？
数据有重复怎么办？

[comsweetcs]

@dayeye2006199 以前我们是在应用层搞的，每个表生成一个全量和增量分区，第一次推全量后面推增量。把多条数据合并成一条消息，走 kafka 同步给业务系统。