[提问] 保有原数据库的情况下, Data Migration 应该怎么做?

2019-10-25 20:44:49 +08:00
 fangchang

各位好,我想问一个大家在企业开发都会遇到的问题。

目前我公司数据库有结构问题,可以用,但是无法加 constraint。 于是我们部门打算慢慢从目前版本 V1 升到 V2 版数据库。 那么在这个慢慢更新的过程中, 数据肯定都是先储存到 V1 的。最终目的是把优化结构后的 V2 数据库嵌入到 data warehouse

那么任务有三点。

  1. 设计好新数据库的表,然后把 V1 的数据移植到 V2. 并进行数据清洗。
  2. 每次 V1 数据有更新,同步到 V2. 不强求实时,延迟不超过 24h 就可以。
  3. V2 的表也会在不断调整的, 每次调整后,希望最省力的方式去更新已在 v2 的数据。

问题:有没有适合这个需求的工具 /软件可以来做这个? Stackoverflow 大部分人说手写 sql script, 一张张表写过去。 不手写的话就用 DTS 比如 AWS,然后用它的 ETL 工具。或者直接用 Pentaho 或 Talend。不过我看了他们的工具,上面只能进行数据读入,改名,清洗,写入。 做不到 constraint 比如 pk,fk。

像这种情况应该挺常见的,难道真的要当苦力一样为 315 张表每个写一系列的 sql script 么?

PS:数据库用的 postgresql, 数据量为 1TB, 315 张表

1122 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/613063

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX