V2EX › firebroo 的所有回复 › 第 16 页 / 共 23 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 8 9 10 11 12 13 14 15 16 17 ... 23

❮

❯

2016-12-23 00:00:08 +08:00

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

结帖了，在 github 提了[issue]( https://github.com/elastic/elasticsearch-py/issues/508)，是我姿势不对。。

2016-12-22 23:06:00 +08:00

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@miraclinger 嗯，我看了你的链接，官方的意思是推荐从一次导入 1000-5000 条开始测试直到找到最佳 performance 吧, 可能我的不是最佳，但是和这个应该没有关系,分割为小文件我导入我想过（现在我朋友推荐我使用 Java 的 API 用 9300 端口走 TCP 导入)，但是我其实想找到内存泄露的原因呢。
@WKPlus 试过了，依然 oom ，我还试过 del 之后用 gc 库显示回收 gc ，也是炸裂。

2016-12-22 12:46:41 +08:00

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@p2p 我试过减少 bluk 到 5w ，内存依然炸裂的
@Zuckonit 我是进程运行一段时间之后产生的内存泄露，有啥工具可以注入 Python 进程查看 gc 情况吗？

@jimmyye 晚上回去试试。

2016-12-22 10:28:27 +08:00

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@yuankui 你要是发现这代码哪里导致的内存泄露，就说出来，我承认我是渣渣没问题的。

2016-12-20 17:58:52 +08:00

回复了 chuhemiao 创建的主题 › 程序员 › 程序： D 的一生

D 之意志～

2016-12-16 16:16:20 +08:00

回复了 skyworker 创建的主题 › Python › 说个笑话，关于 python

不好笑。。

2016-12-10 11:09:41 +08:00

回复了 ansheng 创建的主题 › 职场话题 › 最寒冷的冬天，最伤人的事

加油。

2016-11-29 08:25:13 +08:00

回复了 hailinzeng 创建的主题 › Linux › 在 Linux 下折腾过的事情印象最深的是什么?

其实是这样，本来系统已经可以用了，但是总想着优化，举个栗子，比如一个 grub ，默认已经可以了，但是想默认黑不溜秋的开机背景，好丑啊，然后查查查改改，然后发现开机好像有点慢，我想要 1 秒开机，嗯， grub 启动 timeout 改为 0 ，咦开机还载入各种模块，哪些不是必须的，去掉试试，然后改改改，应该还能优化启动吧，然后搜裁剪内核文章，系统启动一定可以更快，然后时间就流逝的很快。。还有类似的显卡驱动，桌面配置。。

2016-11-22 07:56:29 +08:00

回复了 smallaccount 创建的主题 › Android › 咨询个问题，你们为什么要坚持买 Android 手机？

我总得有一个手机可以用吧，为啥南方人要坚持吃米饭，北方人坚持吃面条或者花卷，不吃会饿死啊。

2016-11-15 17:56:56 +08:00

回复了 SpringHack 创建的主题 › 程序员 › 个人写的一个 oj 项目，娱乐向－－

@SpringHack 25 分钟没人理惨案…(回复你这句。。）

2016-11-15 13:47:30 +08:00

回复了 SpringHack 创建的主题 › 程序员 › 个人写的一个 oj 项目，娱乐向－－

惨像已使我目不忍视...

2016-11-13 16:24:16 +08:00

回复了 keikeizhang 创建的主题 › 程序员 › 对于任何编程语言，数据结构和算法对于一个程序员重要到什么程度？

程序的本质还是数据吧，保存数据操作数据依赖数据结构。。 linus 就一直强调设计数据结构的重要性。