爬虫运行的时候终端卡

2016-01-05 10:20:29 +08:00
 ufo22940268

服务器是 Centos 6 ， 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ，内存都不高，磁盘读写也不高。
然后通过more /proc/sys/fs/file-nr看，文件的打开数也才 1900

同样的程序在我的 mac 上跑就没有这些现象。

3407 次点击
所在节点    Linux
6 条回复
wlsnx
2016-01-05 10:26:05 +08:00
可能是网络原因
flyshu
2016-01-05 11:12:00 +08:00
网络带宽占满了?
Landarky
2016-01-05 14:22:54 +08:00
估计和我一样 网络带宽限制
limbo0
2016-01-05 15:45:23 +08:00
如果是 ssh 到服务器应当会卡的
em70
2016-01-05 15:51:23 +08:00
用云服务器，上行带宽不限，很适合跑爬虫，比如阿里云买 1M 的带宽 ECS ，爬虫用 1G 带宽都可以
youxiachai
2016-01-05 15:53:29 +08:00
这个终端卡，不都是网络问题吗。。。我还以为都是常识来的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/248403

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX