2T 总容量的日志服务器 插入性能持续衰减

2016-11-20 10:44:47 +08:00
 Banio

我们现在有台日志服务器 总容量 2T 内存 2G 4 核服务器 表关系比较简单 就是俩表 一个表记录 session 触发的时间和条件 另一个表统计当前 session 包含了多少条内容

现在用分表 ( postgresql 分表功能感觉不是很好)在单表数据量到 300w 以后发现插入性能下降的特别明显 可能是索引太多 插入速度也就达到刚开始的 1/10 插入日志的时候磁盘 io 较高 请问有没有什么好的优化方案

或者可用 nosql 或者别的数据库处理 谢谢! 小弟数据库这方面积累比较薄弱 麻烦大神指教 谢谢

4025 次点击
所在节点    Linux
22 条回复
RangerWolf
2016-11-23 17:05:44 +08:00
为什么不可能加内存?不解~

另外,直接程序内部进行分表,比如每小时一张表,超过 X 小时直接删除,类似这种。
还有就是,尽量批量写、

PostgreSQL 并没有听说对日志友好啊
Tony8Finet
2016-11-24 04:26:09 +08:00
@Banio 不产生事务类日志, 写入效能会比一般表来得快。

看一下文件: CREATE TABLE

UNLOGGED

If specified, the table is created as an unlogged table. Data written to unlogged tables is not written to the write-ahead log (see Chapter 29), which makes them considerably faster than ordinary tables. However, they are not crash-safe: an unlogged table is automatically truncated after a crash or unclean shutdown.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/321822

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX