V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
whasyt
V2EX  ›  程序员

各位有熟悉 dataX 的么?

  •  
  •   whasyt · 2020-05-26 15:28:23 +08:00 · 1429 次点击
    这是一个创建于 1642 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司项目用的 datax 同步数据,从 oracle 抽取数据,在数据量比较少的时候一切正常,当表数据量到 2y 以上之后,频繁报错 ORA-01555: 快照过旧: 回退段号 XXX, 在百度后得到方法有:

    ( 1 )增加 UNDO 表空间大小

    ( 2 )增加 undo_retention 时间,默认只有 15 分钟

    ( 3 )优化出错的 SQL,减少查询的时间,首选方法

    ( 4 )避免频繁的提交

    在实际情况中,1,2 方法都行不通,因为 oracle 是客户的数据库,不能做更改; 4 方法也不是原因。 只有 3 方法可以尝试修改,但是 datax 的 sql 是配置在 json 任务文件中。有没有以一种最小改动方式解决问题呢? 现在的 sql select aaa,bbb from table; 计划使用:rownum 分页查询,请教各位 不知这样是否可行,会不会有隐藏的坑呢?

    1 条回复    2020-05-26 19:47:39 +08:00
    xliao
        1
    xliao  
       2020-05-26 19:47:39 +08:00 via iPhone
    建议 sql 带 where 分批处理呢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2663 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 05:57 · PVG 13:57 · LAX 21:57 · JFK 00:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.