爬虫：内存溢出问题，使用 scrapy 框架

[Mrkon]

这是一些截图

我还自己写了个日志文件，储存抓取过的网址，每次都会读写此文件，内存溢出与这个有关系吗？

v 友们，帮忙看看

[gabon]

类似 java 堆 dump，分析内存可破。原来写爬虫用的 java 遇到过几次 oom，用 visualVM 和 memory analyzer 定位解决。Python 应该也有类似的工具吧

[Mrkon]

@gabon 上面截图就是一部分分析吧，我是看官方文档怎么解释的，不过接下来该怎么做啊。求指教

[wzwwzw]

每次关闭这个文件了吗？

[Mrkon]

@wzwwzw 用了 with open(....) as f:上下文管理器的

[bbbb]

楼主找到原因了么？我也遇到内存溢出了，机器还好内存大，用了快 11g 被杀了。