适用于小团队的数据平台、数据仓库解决方案？

[cqcn1991]

目前在做数据平台方面的工作，发现对大公司而言，方案其实都很固定了

但对于小团队来说，有什么好的解决方案？

早期主要是用来解决 BI，数据查询需求，可支持或不支持基于数据的机器学习项目

• 最好基于开源、免费
• HDFS, Spark, 系统资源最好能有厂商维护, 因为这些其实运维成本都不小

---

目前能想到的

• Google Analytics/Mixpanel 埋点 + 业务数据库备份用 Metabase/Superset 查看

但不知道好的 ETL 工具用啥，莫非用 airflow? MySQL 库是否就足够了？

[wc951]

cdh 社区版，etl 用 kettle

[qwingmix]

我们是一致用 GA+google tag manager, 我觉得日活在 10W 以下的基本够用，各种实时啊，聚合啊，埋点专题分析啊，都足够了。python 写脚本定制一些专题，导入到本地数据库，也足够了。 最后用 superset 展示。
其实你上面也写了这个方案。

[cqcn1991]

@qwingmix 话说你们数据怎么导入的？ bigquery 导出？

用的什么数仓？直接 postgre 备份主库？还是？

[qwingmix]

@cqcn1991 直接通过 python 脚本导出到 mysql，复杂一点的，就先在 python pandas 里面做计算，计算完再导出到 mysql。主要是 python 里面找到一个可以无抽样导出的轮子，轻松解决 GA 数据结果抽样的问题。

[cqcn1991]

@qwingmix 恩，那 GA 的数据咋进去的？先进，big query 吗？

[qwingmix]

@cqcn1991 啊？ GA 的，就用 GTM 在 web 和 app 里面调用 GA 的 api 埋点啊。

[cqcn1991]

@qwingmix 那 GA 的原始数据你们拿回来吗？

[qwingmix]

@cqcn1991 仅仅部分会拿，比如 event label 里面塞满了我们自己的维度组合，GA API 拿到本地后分割开来。 一般都不拿原始数据。