TiDB-Lightning Toolset & TiDB-DM 正式开源,前排开“坑”、PR 走起!

2019-01-21 18:47:38 +08:00
 PingCAP

在刚刚结束的 TiDB DevCon 2019 上,我们宣布将大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 开源(惊不惊喜、意不意外?!),感兴趣的小伙伴们赶紧前排关注一波,开“坑( issues )”讨论,PR 走起!

TiDB-Lightning Toolset

TiDB-Lightning Toolset 是一套快速全量导入 SQL dump 文件到 TiDB 集群的工具集,自 2.1.0 版本起随 TiDB 发布,最新的测试结果显示,速度可达到传统执行 SQL 导入方式的至少 5 倍,导入 1T 数据需要 5 ~ 6 个小时,适合在上线前用作迁移现有的大型数据库到全新的 TiDB 集群。

原理解读:TiDB-Lightning Toolset 介绍

项目地址:github.com/pingcap/tidb-lightning

TiDB-DM

TiDB-DM ( Data Migration )是用于将数据从 MySQL/MariaDB 迁移到 TiDB 的工具。该工具既支持以全量备份文件的方式将 MySQL/MariaDB 的数据导入到 TiDB,也支持通过解析执行 MySQL/MariaDB binlog 的方式将数据增量同步到 TiDB。特别地,对于有多个 MySQL/MariaDB 实例的分库分表需要合并后同步到同一个 TiDB 集群的场景,DM 提供了良好的支持。如果你需要从 MySQL/MariaDB 迁移到 TiDB,或者需要将 TiDB 作为 MySQL/MariaDB 的从库,DM 将是一个非常好的选择。

原理解读:TiDB-DM 架构设计与实现原理

项目地址:github.com/pingcap/dm

1806 次点击
所在节点    程序员
3 条回复
zhichaozhang
2019-01-21 18:53:44 +08:00
终于开源了
之前发邮件问贵公司同事他说得 11 月份 等来等去一直没等到 不说了 fork 一下去
bigtan
2019-01-21 22:20:18 +08:00
一直有个疑问,我们存行情数据的 MySQL 服务器现在单表的数据累积已经过一亿条记录了,tidb 对这种场景有优势吗?单物理节点,没有分布式
my3157
2019-01-22 01:10:54 +08:00
@bigtan #2 TiDB 需要 raft, 无法单节点

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/529230

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX