有没有办法把 4 亿数据在四个小时内打散到 100 张表内

[dackh]

rt... 头发快掉完了

现在的场景是原表数据 4 亿，我分表 100 张，打算停服将数据打散

开了 40 个 go 协程，每个协程根据主键 id 划分，每个捞 1000w，分 100 次，每次捞 10W。

捞完 10W 的数据取模分组，批量插入到对应的表中。

这样方法，1E 用了 40 分钟，2E 用来 2 小时 30 分钟。

在想先把索引砍掉，迁完数据再建索引，大概能快多少？

嗯，脚本已经很快了，DB 被我跑挂了，瓶颈应该在磁盘 IO 上..

[opengps]

4 亿的体积是多大

[MinQ]

spark 应该可以吧

[dackh]

@MinQ mysql

[lihongjie0209]

计算一下 io 速度不就知道了吗

[mengzhuo]

很简单啊，分而治之
先测一台实例能承接多少 qps，能不能分库。

假设数据平均的话，400M/4/100/3600 ≈ 277 qps 而已

[mengzhuo]

insert 太慢的话，可以接受的话，索引先全关掉，然后再建

[dackh]

@lihongjie0209 怎么计算？

[dackh]

@mengzhuo 我试过 insert 一分钟只能 100w，4e 的话就需要接近 10 个小时了

[dr1q65MfKFKHnJr6]

分库？ 同时做数据同步？

[dackh]

@cedoo22 不分库，业务可以停，准备停业务数据直接打散，看来做不到了，准备放弃

[lcy630409]

如果是阿里云 可以买个临时服务器 上 essd，最高配置（配置越高 磁盘速度越高）

[dusu]

1. 关所有 log/binlog
2. batch insert
3. 多进 /线程
4. tmp 目录指 /dev/shm 目录
5. 上 ssd

插入速度取决于你的硬盘读写速度。
4e 问题不大

[jugelizi]

可以 不要用 insert 直接用 mysql 组装数据

[csunny]

bigquery

[husinhu]

load data infile

[liuzhaowei55]

方便的话可以说一下具体的场景啊，有可能并不需要一匹跑的更快的马，而是需要一部电话。

[66450146]

按照数据的类型想出一个分类手段让数据能够大致平均分成四份（例如按照 timestamp 最后两位 mod 25 ），然后创建四个 view

[levelworm]

@dackh insert 还是 copy?

[fluorinedog]

这需求闭着眼睛写啊.... sort by hash value, 然后直接 select 出来

[JunoNin]

我感觉如果是 insert 到 4 个库里。。磁盘的 io 是瓶颈

[realpg]

数据库总占用空间多大？
要是一条记录没多大，那这任务非常简单了。。
盘足够快就完事。
比这数据量还大的物理库上云我都搞过

[realpg]

之前做的一个项目

MYSQL 5.x，11 亿条数据，数据量不均衡的分布在 47 个表（有的表只有几万条记录，不均衡分布），数据库文件大小 148GiB，数据以 int bigint 类型居多

导出 sql 文件，然后到新服务器导入大约 20 分钟。
新服务器是自建私有云，IPSAN 后端存储+NVME 本地缓存

[dackh]

@realpg 文件如何导出来，导出来花了多久

[dackh]

@JunoNin 是啊
@husinhu 导出来的时候比较花时间
@dusu 除了 ssd 都上了

[dackh]

@66450146 @JunoNin @MinQ @cedoo22 @csunny @dusu @fluorinedog @husinhu @jugelizi 看 appedn

[artandlol]

没有 ssd 程序再快也白搭

[realpg]

@dackh #23
mysqldump 这个没注意时间 都是固态盘的没几分钟