有没有人知道 cnzz 这种统计的 后端计算架构是怎么样实现的 那么海量的数据实时(雾= =.相对实时的)处理

[0x5010]

有了解的么 一起讨论下

[Livisme]

好奇＋ 1

[YouXia]

HyperLogLog

[0x5010]

@YouXia 这样用来做统计会不会准确性不佳 能细讲些么

[penjianfeng]

@0x5010 正好最近给公司项目做了一个这个,前端只管上传数据,服务端的接口收到数据后只管保存本次的访问数据,不进行任何计算,然后由一个或者多个队列程序专门来跑这些数据,及时性要看数据量的大小,大了肯定都会有一点延迟的

[lincanbin]

这种各站点的统计数据互相独立的，只要堆机器和内存缓存就好了，哪里需要什么架构。

[0x5010]

@lincanbin 主要 cnzz 免费用户那么多, 那些硬件成本非常高的 不可能无脑堆

[0x5010]

@penjianfeng 模型肯定是这样 主要 后端的存储结构应该如何做才能满足那么多人的查询的及是返回 而且要考虑空间成本和计算成本 所以对他们的设计比较好奇

[audi]

曾经在 cnzz 现在合并的公司做过几年研发，大概知道一些。

[penjianfeng]

@0x5010 数据库直接存储的是统计结果,前端直接取数据,不涉及任何计算

[shiny]

你的零点的时候刷 cnzz 会发现数据不见了。
做类似服务的时候是先入内存再入库，然后进程定时统计数据。

[0x5010]

@penjianfeng 后端需要呀 不可能那么大的数据都入库肯定是经过计算聚合然后在入到存储的结构里去的

[0x5010]

@audi 大大能否讲解一二?

[paw]

kafka 前端收集，中间上 spark 、 storm 等分布式流处理，后面处理结果放到 hbase 或 phoenix 甚至 redis 供查询
总计算延迟基本 15 分钟内
然后，性能不够就加机器扩容....

[stabc]

这种其实跟群租户概念差不多，所有免费用户都是相对独立的，那么主服务器只要根据用户 ID 做一个负载均衡式的分流就好，化整为零，做实时存储都没问题。理论上可以毫无技术含量的支撑无线大的流量。

[des]

我倒想知道百度是怎么做的，搜了增高，广告立马全都变成增高

[0x5010]

@stabc 可是有的但个的量一天就好几十亿了,比如嵌入在广告里面的统计代码 而好几层基本一层一个
而且这样的情况很多,一天单单聚合这么大数据的计算量是非常大的

[0x5010]

@des 百度用户量多呀而且有帐号.每个用户相当于永久的 cookie.百度自己的广告识别你的 cookie 然后就知道你的搜索记录了 有符合你的广告优先返回 没有就返回关键字广告咯

[jadecoder]

曹政在公众号写过文章介绍了一点，可以去找找

[txlty]

楼主， CNZZ 和 51LA ，这俩统计，都是从个人网站起家的。
SO ，先听听站长本人怎么说：
http://www.1982y.com/index.php/archives/176
http://www.ajiang.net/article/artview.asp?id=1109

[des]

@0x5010 我其实是相问百度那么多用户，他们是怎么做到这么多数据的实时