V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
fangchang
V2EX  ›  问与答

[提问] 保有原数据库的情况下, Data Migration 应该怎么做?

  •  
  •   fangchang · 2019-10-25 20:44:49 +08:00 · 1122 次点击
    这是一个创建于 1883 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位好,我想问一个大家在企业开发都会遇到的问题。

    目前我公司数据库有结构问题,可以用,但是无法加 constraint。 于是我们部门打算慢慢从目前版本 V1 升到 V2 版数据库。 那么在这个慢慢更新的过程中, 数据肯定都是先储存到 V1 的。最终目的是把优化结构后的 V2 数据库嵌入到 data warehouse

    那么任务有三点。

    1. 设计好新数据库的表,然后把 V1 的数据移植到 V2. 并进行数据清洗。
    2. 每次 V1 数据有更新,同步到 V2. 不强求实时,延迟不超过 24h 就可以。
    3. V2 的表也会在不断调整的, 每次调整后,希望最省力的方式去更新已在 v2 的数据。

    问题:有没有适合这个需求的工具 /软件可以来做这个? Stackoverflow 大部分人说手写 sql script, 一张张表写过去。 不手写的话就用 DTS 比如 AWS,然后用它的 ETL 工具。或者直接用 Pentaho 或 Talend。不过我看了他们的工具,上面只能进行数据读入,改名,清洗,写入。 做不到 constraint 比如 pk,fk。

    像这种情况应该挺常见的,难道真的要当苦力一样为 315 张表每个写一系列的 sql script 么?

    PS:数据库用的 postgresql, 数据量为 1TB, 315 张表

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2825 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 07:48 · PVG 15:48 · LAX 23:48 · JFK 02:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.