关于数据同步的有效性校验

[PazuLee]

如题，数据同步，类似定时任务啊实时数据同步之类的，有没有一些好的做数据校验的思路？

[dissvm]

楼下第一眼看成有效性经验的举手🙋‍♂️

[qumingkunnan]

之前有个项目，Java 的。 一个类里面包含常用的校验规则，每个数据表实现一个，然后解析的时候同时校验，没有涉及同步这个事儿，只是校验

[PazuLee]

@dissvm 哈哈哈哈哈
@qumingkunnan 对，其实同步的痛点是怎么保证和源数据的一致，尤其是经过一部分业务逻辑处理的。这个目前只想到查询数据源去比对，但是感觉效率比较低。

[0Kelvin]

数据序列化，计算 md5，传递，接收校验。
没实际操作过，不知道思路对不对，（逃

[qumingkunnan]

@PazuLee 模仿 http 握手机制呢

[PazuLee]

@0Kelvin md5 可能存在某些局限性，因为通常存在痛点的场景是对数据做了加工改造，一旦与源数据格式不同可能 MD5 方式就失效了。:(

[PazuLee]

@qumingkunnan 这个倒是没有考虑过，怎么讲呢~

[qumingkunnan]

@PazuLee 我们应用场景是提供数据文件包给一些使用方，有客户端服务端，每次传输文件都采用回执方式确认数据完整已达，详细的不是特别了解，因为不开源，对内部都不开源…………