这问卷调查数据量太大了，不搞分表的话有没有别的解决途径？

[abcbuzhiming]

现在有这么个需求，20w 左右的用户，经常要全体参加做调查问卷，这个问卷的题目有 100 道左右，都是选择题，但是最终有一个需求，就是统计出，每道题，有多少个人选了 A，多少人选了 B，多少人选了 C。。。。按传统的做法那就得把每个人每道题的答案作为一条记录存贮在一张表里，然后 group by。但是算了一下数据量，有点惊人：
做一次卷纸就会产生 200000*100 =2000w 条数据。。。做 10 张调查就 2 亿条记录了，100 次调查就 20 亿。这有点囧啊

[FanWall]

@xmh51 #19
可以呀，… where iFlag & 3 = 3

[xmh51]

@FanWall 哦 知道了 不过你这个是全表扫的那种。不过是一种路子，

[agostop]

一个人一条肯定不行，一道题一条差不多。

我们也有类似的需求，只是数据量不大，就硬 groupby，看了下楼上的回帖，感觉也就是用触发器实时统计能好点

但是触发器有 bug 的话，很难排查，一般很少用

[MiffyLiye]

a. Events + Stream Processor. Kafka/EventStore/... + Storm/Spark/...
b. MapReduce. Hadoop/Hive/...
c. 抽样统计. 用样本估计总体

[vZexc0m]

每次问卷完毕后做缓存，因为结果是不会变化的，不用实时统计。