这是一个创建于 1466 天前的主题，其中的信息可能已经有所发展或是发生改变。
小弟我用的 Crawlab 平台管理爬虫任务，基本上在跑的有 12 个爬虫，之前是 1s 一条，现在 1min 一条，有没有老哥有好的办法解决下。
 |
1
faaaa 2020-11-19 17:41:43 +08:00
1s 一条你确定瓶颈在数据库读写,不是网络 io
|
 |
2
teddy2725 2020-11-19 17:53:47 +08:00
合并批量
|
 |
3
QuinceyWu OP @jasonyaoff 我确定了 公司专线 不是网络问题
|
 |
5
qq316107934 2020-11-19 18:06:10 +08:00
设置了其他索引吧？数据越多插入效率越低
|
 |
6
Pythoner666666 2020-11-19 18:07:50 +08:00
1min ennnnnn 你可以贴下表结构和索引
|
 |
7
fasionchan 2020-11-19 19:10:11 +08:00
之前是 1s 一条，也惨不忍睹呀~~~
|
 |
8
theOneMe 2020-11-19 19:20:19 +08:00
大概率方向不太对，插入都需要秒级别，那这个数据库早就没人用了。
|
 |
9
sadfQED2 2020-11-19 19:22:15 +08:00 via Android
1s 一条？？？你插入的数据得有多大？你是把图片啥的都存进去了吗
|
|
10
sadfQED2 2020-11-19 19:24:17 +08:00 via Android
看下服务器监控，是磁盘 io 还是网络 io 跑满了。讲道理，搞个树莓派加 sd 卡也不至于 1 分钟一条啊，1 分钟一条我拿笔手写可能都比他快
|
 |
11
52coder 2020-11-19 19:25:49 +08:00
1s 一条本身就有问题
|
|
14
QuinceyWu OP @Pythoner666666 就默认 id 索引
|
|
15
QuinceyWu OP @qq316107934 就默认 id 索引
|
Select Language