继续问关于 scrapy 的爬虫的小问题

2017-05-29 12:26:34 +08:00
 xiaoyu9527

同样的脚本 爬同样的目标站

服务器 A 配置 AMD4 核 Opteron 1381 SATA 22TB+750G4 我键了一个 6TB 的 POOL

服务器 B 配置 ATOM CZ2750 128G SSD

目标站挂载在 CF 上 差不多都在 10ms 以内

服务器 A 开始爬还可以跑在 20~30M 大约爬了几分钟以后变成 5mbps 左右

服务器 B 爬取速度不但快 而且下载的时候都可以保持 100M 的速度。

我想知道服务器 A 的 delay 是在哪里。 有没有办法优化

服务器 A 的下载速度 就是一个图片 一个图片以肉眼的速度下载

服务器 B 的下载速度 就是刷刷刷的那种。

是否是 SSD 的问题?

1481 次点击
所在节点    Python
1 条回复
xiaoyu9527
2017-05-29 12:32:09 +08:00
SATA 和 SSD 的写入差距这么大?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/364563

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX