用了一阵子 mongodb,有几个困扰我的问题。

2018-06-11 14:31:28 +08:00
 JCZ2MkKb5S8ZX9pq

主要做爬虫和数据分析。选 mongo 是因为 mongo 比较灵活,而爬虫经常会碰到些意外或者结构变化等等,前期直接 json 进去比较方便。当然数据清洗也是会做的。

副本集问题

现在 mongo 主要是扔在一台 MBA 上跑,然后为了保险,在家里的 PC 上加了个副本,Arbiter 在 MBA 上。
这样出去演示啥的,光带个 MBA 也跑得起来。
现在我的问题是,如果我再加一台电脑,想让:

  1. 家里的 A 电脑一直跑爬虫不要停。
  2. 另一台 B 电脑在家的时候可以同步数据库,出门的时候可以演示。

有没有实现的方法?


CPU 占用问题

mongod 的 CPU 最近占用经常跑满,这是常态吗?
我大概有四五个爬虫同时在跑,但都是单程的网络 IO 而已。有办法查看 mongod 具体是啥占的 CPU 嘛?


升级

开始用的时候是 3.2 版本的,现在好像已经到 3.6 了,有必要升级吗?


空间占用

目前比较大的那个 DB 大概 40G+。
基本的字段类型优化,结构优化,都已经做过了。
除了分片,有啥别的瘦身方法嘛?


PS:身边用 mongodb 的真的很少啊😂

4003 次点击
所在节点    MongoDB
4 条回复
Leigg
2018-06-11 18:39:48 +08:00
mongo 一般都是随意数据量增加占用内存增加,cpu 跑满到是挺少见,你看看不启动数据库占用情况怎样的,如果确实是 mongo 导致的 cpu 跑满的话,那你需要调一下 db 的配置。
Leigg
2018-06-11 18:51:27 +08:00
另外你还可以了解一下 mongo 的慢查询,可以判断具体是不是有什么操作导致了 db 线程阻塞,这也会导致 cpu 占用暴涨
JCZ2MkKb5S8ZX9pq
2018-06-11 21:45:13 +08:00
@Leigg 下午刚排查了 index,貌似都启用了。
而且不启用的话根本慢得没法用……
不过你说得挺对,我等下重启下,逐个开启爬虫观察看看。
mathgl
2018-06-29 02:24:42 +08:00
4.0 都出来了。还在用 3.2?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/462154

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX