来当个伸手党,用 python 写的爬虫,在 win 下内存占用就 70M 多,为什么放到 512m 的 vps 下没多久就被 kill 掉

2015-07-20 10:33:52 +08:00
 sandideas
7863 次点击
所在节点    Python
40 条回复
sandideas
2015-07-20 10:35:51 +08:00
是linux的vps。。。开了ss之类的,内存占用40%。。感觉剩下的应该够跑吧。
neoblackcap
2015-07-20 10:50:55 +08:00
你是不是就直接用shell去启动你的脚本?然后就退出了ssh?
laiyilong
2015-07-20 10:51:58 +08:00
没有优化好。。可以考虑多线程,把swap空间调大应该也可以
icedx
2015-07-20 10:52:01 +08:00
代码呢
loading
2015-07-20 10:52:12 +08:00
cpu超了?
msg7086
2015-07-20 11:10:02 +08:00
虚拟内存设定呢?
paw
2015-07-20 11:26:02 +08:00
ulimit -a
看一下,是不是这里限制了,virtual memory;open files ;stack size 等
以前在用OAH的VPS的时候碰到过,virtual memory有限制,坑爹货。
sandideas
2015-07-20 12:22:31 +08:00
@neoblackcap
对。。。第一次弄这个,难道不是直接启动。。然后扔那么
kqz901002
2015-07-20 12:23:22 +08:00
@sandideas nohup $$$&
sandideas
2015-07-20 12:25:53 +08:00
@laiyilong 就是多线程。。我查查怎么调swap空间。
lcqtdwj
2015-07-20 12:25:56 +08:00
win7长时间开着内存也就70M么?
sandideas
2015-07-20 12:28:14 +08:00
@icedx 写的很乱。。不敢贴。但是我urlib,file之类的都有close掉。应该没问题吧。
sandideas
2015-07-20 12:29:19 +08:00
@loading cpu超了也会么。。好像cpu占用是挺高的。。i7下都占用10+...
sandideas
2015-07-20 12:30:12 +08:00
@msg7086
没去设置。。我觉得应该够吧。。那我去设置下虚拟内存。
sandideas
2015-07-20 12:30:52 +08:00
@paw virtual memory是unlimited。。
sandideas
2015-07-20 12:33:06 +08:00
@kqz901002 看了下。。这样是为了防止退出ssh被自动关掉么。。但是我连上去后就没关掉。。眼睁睁的看着他显示被kill。。
sandideas
2015-07-20 12:33:45 +08:00
@lcqtdwj 对。。。我看了好几次,基本就在70上下。
kqz901002
2015-07-20 13:07:35 +08:00
@sandideas是的 nohup $command&
neoblackcap
2015-07-20 13:12:58 +08:00
@sandideas 贴代码是最快的,你还是贴下代码让大家review一下
knightlhs
2015-07-20 13:45:15 +08:00
@sandideas 不贴代码很难确认

从代码的角度思考
问题可能有:
1、是否有内存泄露
2、CPU突发峰值是否超标
3、内存突发峰值是否超标

从服务器的角度考虑
问题可能有:
1、服务器参数是否虚标 是否超售 特别是 OVZ的类型 内存严重不足
2、CPU是否被严格限制在一定的指标

其他暂时还没想到

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/206889

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX