1
blacklinux 248 天前
转换成 sql 语句执行
|
2
sagaxu 248 天前
1. 批量插入 + 开启 pgsql 的 reWriteBatchedInserts ,单个文件控制在 1 秒左右
2. 使用多线程,不同的表并发插入 |
3
luozic 248 天前
分成 3 部分:1.解压读取 解析 csv
2.批处理 3.入库 用火焰图和时序看一下是哪部分慢呗。 插入 pg 批处理肯定没这么慢( pg 的 IO 没那么差的情况下) |
4
lolizeppelin 248 天前
pg 直接 copy csv 啊,为什么转 sql
|
5
xingzi10000 OP ok,谢谢各位,我先试试看
|
6
HOMO114514 248 天前
COPY 语句直接干
|
7
catamaran 248 天前
mysql 可以直接导 csv ,pg 不行?
|
8
yjhatfdu2 248 天前
find . -name '*.csv.gz' | xargs -I {} -P 4 bash -c "gzcat {} | psql -c 'copy test from stdin csv header'"
P 是并发,可以开高点 |
9
cloverzrg2 247 天前
下载了什么社工库吗
|