来当个伸手党，用 python 写的爬虫，在 win 下内存占用就 70M 多，为什么放到 512m 的 vps 下没多久就被 kill 掉

[sandideas]

[msg7086]

@sandideas 首先你要看的是commit charge，这个关系到进程是否被kill。

[sandideas]

@knightlhs
@msg7086
@neoblackcap
@kqz901002
非常感谢你们回复。。
找到原因了，因为系统和mysql之类的会占用到百分之40左右的内存。
而我的代码会在刚开始一段时间从70多到200+。然后才会稳定到70多。。
原本默认的swap才100m。。我改成1g就够了。这样就不会被系统kill掉了。
新手。。莫笑。

[sandideas]

@knightlhs cpu超的话会导致进程被kill么。。我看cpu在vps里面一直占到90+。。

[sandideas]

@neoblackcap
@knightlhs
不贴代码是因为实在写的渣。。好多异常懒得处理直接忽视了。。
试运行可以了再优化代码。

[knightlhs]

@sandideas
这个要看主机商的设定 我这里无法粗浅的下结论
一般的中小型VPS提供商 长时间占用CPU不但会kill 还会封帐号
但是也是有区分的 有些专供计算类的云产品 是可以长时间高负荷的 只是价格比较喜人
具体你要问问你的服务商 具体的要求是什么了

[sandideas]

@knightlhs 了解了。。那我发个tk问一下客服

[zts1993]

一般主机的后台会有监控 可以查看 CPU内存的使用历史记录

[sandideas]

http://paste.ubuntu.com/11908931/

@knightlhs
@neoblackcap
@icedx
我还是贴代码吧。。
虽然可以运行，但是swap速度太慢了。
开了是个线程内存就会涨到300+

[icedx]

我感觉是你这个bs4 的对象没有被及时回收
开始代码 soup=BeautifulSoup(page)

[sandideas]

@icedx 好的。。我试试

[sandideas]

@icedx 回收是怎么回收。。我直接del soup不行。。没发现soup有close。。

[icedx]

@sandideas 应该是函数执行结束后自动回收... 但是多线程下 内存使用瞬间飙升

[sandideas]

@icedx 那就没解决办法了么。。一般爬虫是怎么写的，都会内存占用很多么。

[knightlhs]

@sandideas
我对python不熟悉 我说一下我在go上写爬虫的思路
首先 你的解析器不需要每个线程上都new一个
采集线程上只要抓取到页面的信息就OK了 降低负载
采集回来的信息放进 队列里面 等待解析器统一处理（单例）因为这个玩意大多是单线程的
解析结果 出来以后 分析是否是列表 还是正文
如果是列表 那么返回采集队列 继续抓取
如果是正文 就可以保存了

一般系统开销都不在 采集这块 我一般可以开到 30-50个并发
解析器可以多实现几个 分布式 处理 通过 队列随机分配
这样就可以有效的降低 负载
供你参考

[sandideas]

@knightlhs 多谢。。我这个最早是单线程的，后来觉得速度慢按照样例改成多线程的。
的确是没想过解析器不需要多线程。
待会有空改一下试试。。

[knightlhs]

@sandideas
速度慢的问题 一般都不在采集跟解析 回头你自己写一个分析下
写入这块你分离出来 用一个单例实现 看看采集完成的时间 （不记写入时间）
我觉得你速度慢的原因可能在写入 磁盘效率不高 导致队列阻塞了
如果是这也原因的话 换保存方式 比如 mysql

[sandideas]

@knightlhs 好的。非常感谢

[sandideas]

@knightlhs 那cpu占用很高会有哪些原因。。我在I7下都会达到20%。。。没有多少循环嵌套啊。
正则匹配的时候会占用很多CPU么。

[knightlhs]

@sandideas 正则的效率确实不高 你需要使用一些基于DOM的解析引擎

[icedx]

@sandideas 你要吧bs4 处理的过程放在独立的函数里 不要返回bs4 对象