Data engineering(数据工程)指为数据的采集、清洗、转换、存储、治理与交付而进行的工程化工作,目标是构建稳定、可扩展、可维护的数据管道与数据平台,让数据能被分析、机器学习或业务系统可靠使用。(也常涵盖数据质量、权限安全、元数据与监控等。)
I’m learning data engineering to build reliable data pipelines.
我正在学习数据工程,以便构建可靠的数据管道。
Data engineering sits between software engineering and analytics, turning raw logs into curated datasets that teams can trust.
数据工程介于软件工程与数据分析之间,把原始日志转化为经过整理、可被团队信任的数据集。
/ˈdeɪtə/ 或 /ˈdætə/ /ˌendʒɪˈnɪrɪŋ/
data 源自拉丁语 datum(“给出的东西”),在英语中逐渐发展为“信息、数据”的总称;engineering 来自 engineer(工程师),与“设计、建造、优化系统”相关。合在一起,data engineering 字面即“面向数据的工程实践”,强调用工程方法把数据变成可用的基础设施与产品。