数据开发中如何进行复用?

2023-01-10 09:18:33 +08:00
 BrightLiao

比如计算空调销量,常常会考虑订单的状态,产品的范围等因素。

在实现时,一般需要根据这些条件做数据过滤,选出来需要做计算的数据。大家常常将这类数据过滤逻辑称作取数逻辑。相同的取数逻辑常常会在很多其他指标计算中使用。如何复用就成为了一个问题。

在一般的功能性软件开发中,可以通过代码复用来解决这个问题(比如抽象一个公共的模块)。在数据开发中,除了代码复用,还需要考虑计算复用,因为很多大数据量的计算是比较消耗资源的。

先给出我们项目中的一些思考:

点这里查看全文: https://brightliao.com/#/NDE2MzJj

大家是如何进行复用的呢?还有没有其他的复用方式?

1484 次点击
所在节点    推广
6 条回复
miniliuke
2023-01-10 09:30:21 +08:00
dbt
dqzcwxb
2023-01-10 09:36:29 +08:00
@Livid 疑似引流推广
4ark
2023-01-10 09:38:15 +08:00
@dqzcwxb 只是分享文章而已,很常见
BrightLiao
2023-01-10 09:40:54 +08:00
@dqzcwxb 哈哈,给大家分享一下个人的思考,也想听听大家的经验啊!
BrightLiao
2023-01-10 09:42:16 +08:00
@miniliuke 嗯,dbt 不错,我们项目做得比较早,自己搞了一个类似 dbt 的框架,现在开源了 https://github.com/easysql/easy_sql
Livid
2023-01-10 20:31:57 +08:00
@dqzcwxb 这个主题已经被移动到 /go/promotions

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/907788

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX