V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
zhxjdwh
V2EX  ›  问与答

一个弱智的问题, hive 数仓的数据同步,如果源数据库里面的数据被修改了,那怎么办

  •  
  •   zhxjdwh · Jan 1, 2020 · 2054 views
    This topic created in 2311 days ago, the information mentioned may be changed or developed.
    如题:hive 数仓的数据同步,如果今天订单导入 hive 了,第二天用户又修改了订单信息,那怎么办?这样 hive 里面的数据就是脏数据了,这样的话,做分析统计 就跟实际的情况 就会有比较大的差异了
    ------
    是不是还要一个数据更新的机制?这个一般是怎么处理的?
    3 replies    2020-01-03 08:24:44 +08:00
    laimailai
        1
    laimailai  
       Jan 2, 2020
    我们是每天覆盖
    laimailai
        2
    laimailai  
       Jan 2, 2020
    还有个拉链表方案去看下
    zhxjdwh
        3
    zhxjdwh  
    OP
       Jan 3, 2020 via Android
    @laimailai 谢谢,我了解一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2518 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 06:10 · PVG 14:10 · LAX 23:10 · JFK 02:10
    ♥ Do have faith in what you're doing.