主要做爬虫和数据分析。选 mongo 是因为 mongo 比较灵活,而爬虫经常会碰到些意外或者结构变化等等,前期直接 json 进去比较方便。当然数据清洗也是会做的。
现在 mongo 主要是扔在一台 MBA 上跑,然后为了保险,在家里的 PC 上加了个副本,Arbiter 在 MBA 上。
这样出去演示啥的,光带个 MBA 也跑得起来。
现在我的问题是,如果我再加一台电脑,想让:
有没有实现的方法?
mongod 的 CPU 最近占用经常跑满,这是常态吗?
我大概有四五个爬虫同时在跑,但都是单程的网络 IO 而已。有办法查看 mongod 具体是啥占的 CPU 嘛?
开始用的时候是 3.2 版本的,现在好像已经到 3.6 了,有必要升级吗?
目前比较大的那个 DB 大概 40G+。
基本的字段类型优化,结构优化,都已经做过了。
除了分片,有啥别的瘦身方法嘛?
PS:身边用 mongodb 的真的很少啊😂
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.