推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 838 天前的主题，其中的信息可能已经有所发展或是发生改变。
情况如下:
需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.
目前只想到:
1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
我的数据库需要通过公网访问. 华为的 RDS.
2. 逐条对比, 使用 python 的内置运算符.
我自己系统的数据库是 MySQL 的数据库.
是否有更好的方法监控呢? 允许有 30 秒以内的延迟..
需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.
目前只想到:
1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
我的数据库需要通过公网访问. 华为的 RDS.
2. 逐条对比, 使用 python 的内置运算符.
我自己系统的数据库是 MySQL 的数据库.
是否有更好的方法监控呢? 允许有 30 秒以内的延迟..
 |
1
E520 2022-09-05 17:10:41 +08:00
设置 Mysql 从库
|
 |
2
frank1256 2022-09-05 17:25:18 +08:00
客户的视图能提供 create_time 吧，每次别全量，通过日期找增量就够了
|
 |
3
jeeyong OP |
 |
4
Kinnice 2022-09-05 18:09:13 +08:00
CDC
|
 |
5
update 2022-09-05 18:18:15 +08:00
触发器
|
 |
6
yyf1234 2022-09-05 18:21:11 +08:00 via iPhone
触发器
|
 |
8
killva4624 2022-09-05 18:28:26 +08:00
binlog
|
|
9
jeeyong OP 我决定按日期进行同步了....
insert no ignore |
 |
10
sunshengkai27 2022-09-05 20:04:09 +08:00
kafka Connector 应该可以.
|
 |
11
yizmaoaa 2022-09-06 10:47:46 +08:00
典型 CDC....直接上 debezium
|
Select Language