帖子类型的数据该怎么分表

2014-12-25 13:15:16 +08:00
 woshicixide
我现在帖子表已经到了1000W了,还在正以每天两三千左右的速度增加,所以分表已经刻不容缓了,但是除了以帖子id分表外没有什么更好的办法,想过用用户id来分,但是这样分的话会导致有些表数据分布不均匀,而且很难扩展,常用业务如下:
1. 获取最近两天的所有帖子;
2. 获取某板块的帖子(需分页);
3. 获取某个用户所发的帖子(需分页);
4. 按时间段来获取帖子;
不知道大家有没有好的办法推荐,先感谢各位了
2901 次点击
所在节点    问与答
15 条回复
invite
2014-12-25 13:37:15 +08:00
按天分表可行?
cevincheung
2014-12-25 13:40:59 +08:00
按照帖子id,分区。
单独分表已经慢慢无法满足需求了。
1234需求分表只能使用UNION
cevincheung
2014-12-25 13:41:12 +08:00
补充,上个sphinx也行。
regmach
2014-12-25 13:42:48 +08:00
我怎么觉得压力不大
1,4可以用缓存
2,3可以用索引
woshicixide
2014-12-25 13:44:08 +08:00
@invite 可行,但是按板块id和用户id来找帖子的时候得扫全部表
woshicixide
2014-12-25 13:46:22 +08:00
@regmach 我前面还加了层mongo,用来缓存两天的数据,但是碰到23在性能上已经快不行了(sql语句肯定命中索引)
woshicixide
2014-12-25 13:48:02 +08:00
@cevincheung 我的目的就是尽量少用union,但是sphinx对我来说用处不大,我不需要做内容查找
cevincheung
2014-12-25 13:53:40 +08:00
@woshicixide
sphinx做条件筛选,id查询无压力。multi也不错。
regmach
2014-12-25 13:54:05 +08:00
@woshicixide 0_0 访问量好大啊...
请问回复表是不是更加夸张?
woshicixide
2014-12-25 14:00:05 +08:00
@regmach 回复表差不多大,但是回复的查看量不大,所以暂时不会有什么问题
invite
2014-12-25 14:03:32 +08:00
@woshicixide 又想分表,又不想扫描全部表?数据就放在那里,不扫它,那怎么获取信息啊?
xing393939
2014-12-25 14:06:58 +08:00
1000W,不算多吧。之前我的一个mysql innodb分区表,都已经2亿多条记录了,查询都不慢,觉得可以在查询上多做些优化就行了
Mac
2014-12-25 15:07:15 +08:00
1000W是瓶颈么?
haython
2014-12-25 21:20:01 +08:00
我感觉按月分一下就可以了
esile
2014-12-25 23:35:21 +08:00
@woshicixide 按id分表,1234都可以用coreseek/sphinx解决!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/156566

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX