分享一个关于 Int 占几位的真实优化案例, 顺便发个广告: 招大数据实习生!

2015-10-16 21:04:28 +08:00
 RangerWolf
不撕逼,只描述一个自己遇到的事情而已。 大概描述一下吧~

搞一个 Cassandra 集群,第一次玩,数据类型用的 Long/BigInt. 因为还在项目验证阶段,所以机器配置参差不齐。 有两台机器最搓, 只有 2G 的内存,泪崩。
聊胜于无,也把环境搭建起来了。
然后塞了几十 GB 的数据进去之后,就开始用 spark 去计算了~

不出所料,很快就 Cassandra 奔溃了。。。。

于是乎想起 long 的长度肯定要大于 int ,如果没有记错,应该是 32bit , 4 字节?

其中一张表需要全部 load 到内存之中进行进行计算,根据数量级进行估算之后, 2G 内存应该足够。 改完之后,确实如此, 至少这个地方不再导致 Cassandra 集群奔溃了~

所以**个人感觉**那个得罪人的帖子,还是有一些道理的~ 如果只是写业务代码,在遇到一些性能瓶颈的时候,了解一些底层的知识感觉还是会比较有帮助~


最后打一个广告:
南京趋势科技 个人消费者部门 招聘 3 个想玩大数据的实习生~ 最好是南京本地的,外地的每个月出勤够一定天数之后是有住宿补贴的~

只要基础好,最好有 java/python 的基础,如果已经玩过 spark/hadoop 就最好不过啦!

联系方式: 135 1511 7373 AT 163dotCom

放假我就不看公司邮箱啦 呵呵
3552 次点击
所在节点    程序员
23 条回复
paledream
2015-10-18 08:58:13 +08:00
@RangerWolf 要是研二还有机会的话就去,现在确实去不了
RangerWolf
2015-10-18 09:36:15 +08:00
@paledream ok 了解了~ 不知道有推荐的师兄师姐吗?
paledream
2015-10-18 10:13:57 +08:00
@RangerWolf 师兄师姐的情况不是很熟悉,不过都有自己的事情在忙。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/228641

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX