V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  yjhatfdu2  ›  全部回复第 4 页 / 共 5 页
回复总数  88
1  2  3  4  5  
2022-08-24 15:55:12 +08:00
回复了 changdy 创建的主题 程序员 业务系统是否真的需要 Elasticsearch?
@changdy 时间没办法,但是如果是表是按照时间自增写入的,可以用 brin 块级索引,pg 是支持一个查询多索引结果 bitmap 计算,我回头做个例子试试
2022-08-23 11:51:35 +08:00
回复了 changdy 创建的主题 程序员 业务系统是否真的需要 Elasticsearch?
@FYFX ES 数据量大了存储开销上升很快,单节点单 index 过亿性能很低,相比较而言 clickhouse 虽然是关系型数据库,但是超大数据量性能要高很多
2022-08-23 11:49:47 +08:00
回复了 changdy 创建的主题 程序员 业务系统是否真的需要 Elasticsearch?
@shuimugan 这种情况 pg 下可以用 gin 把所有字段做联合索引,这样可以任意组合等值查询
2022-08-10 13:42:27 +08:00
回复了 sunmoon1983 创建的主题 MySQL 求一个数据表设计的思路!
见文档 http://www.postgres.cn/docs/12/datatype-json.html#JSON-INDEXING ,是时候换掉落后的 mysql 了
2022-08-10 13:39:37 +08:00
回复了 sunmoon1983 创建的主题 MySQL 求一个数据表设计的思路!
使用 postgresql ,直接 where city@>'["123456"]'::jsonb and county @>'["23456","34567"]'::jsonb 还可以索引,基本上是最好的方案了
2022-08-10 13:35:32 +08:00
回复了 dtgxx 创建的主题 问与答 数据库选型问题请教各位大佬,大佬们帮帮忙!
@dtgxx 每个属性都可以加 skipindex
2022-08-09 18:51:15 +08:00
回复了 dtgxx 创建的主题 问与答 数据库选型问题请教各位大佬,大佬们帮帮忙!
clickhouse,模糊匹配用 ngrambf_v1 索引, 性能和灵活性比 es 高太多了。https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree#available-types-of-indices
2022-08-08 15:34:37 +08:00
回复了 chaleaochexist 创建的主题 数据库 数据库事务 原子性和隔离性的疑问
建议把 pg 的隔离等级文档看一下,就比较清楚了 http://www.postgres.cn/docs/12/transaction-iso.html
2022-08-08 15:32:59 +08:00
回复了 chaleaochexist 创建的主题 数据库 数据库事务 原子性和隔离性的疑问
@chaleaochexist pg 下,序列化隔离等级,也不会锁表,依然是读写无冲突,但是会带来额外开销,降低性能。其他常用数据库不支持序列化隔离等级
2022-08-08 14:27:10 +08:00
回复了 yujianwjj 创建的主题 Kubernetes 求 kubernetes 的轻量级替代品
用 k3s 吧,单二进制文件一行命令直接启动,而且是真的 k8s
2022-08-08 14:26:16 +08:00
回复了 makeitwork 创建的主题 数据库 没想到 clickhouse 这么牛逼,比 es 强太多了,搞 quant 适合吗
@zhygkx ch 使用 ngram bloomfilter 做 skip index ,也可以一定程度满足全文索引的需求,效果也是很不错的
2022-08-08 14:21:43 +08:00
回复了 chaleaochexist 创建的主题 数据库 数据库事务 原子性和隔离性的疑问
如果用的是 truncate ,那么有可能读到空表,因为 truncate 一般不支持事务。
如果使用的是 read uncommitted ( mysql 下是这样,pg 下不会),也可能是读到空表
其他情况不应该读到空表
2021-01-18 17:34:54 +08:00
回复了 douyacun 创建的主题 Go 编程语言 golang 如何远程调试代码?
go get 用 GOPROXY 不行嘛
2020-08-04 16:02:13 +08:00
回复了 lolizeppelin 创建的主题 Python 被各种关系数据库的 json 操作坑死了
试试 ponyorm
2020-07-22 15:01:21 +08:00
回复了 yuan434356430 创建的主题 程序员 求问各位 V 友 PG 库的批量插入问题
pg 支持原生的 upsert,insert into tbl values(xx,xx) on conflict(some_unique_key) do update set xxx=exclude.xxx;
2020-05-29 12:03:26 +08:00
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
@rapperx2 qq 吧,base64:MjUxNjUwMjky
2020-05-29 11:42:14 +08:00
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
@rapperx2 渐变语句要加上 oder by(车牌,时间),我怀疑你这边是直接按照日期排序了,这样找一辆车的数据也要扫全表,然后数据类型建议也再看一下车牌最好用个足够小的 int 作为,再建一张表用来存车牌和 ID 的映射,查询时使用 join,这样能显著减少查询的数据量( 2300w 行就 2.17GB 太大了),数据结构越高效性能越高
2020-05-29 11:38:16 +08:00
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
@rapperx2 不正常,方便看一下表定义和查询嘛?
2020-05-28 10:09:30 +08:00
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
@rapperx2 对了,时间戳精度要求不高的话,可以用不需要用 DateTime64,可以 DateTime (精确到秒),经度维度可以用 UInt32 CODEC(DoubleDelta),方向不需要的话可以不存,这样估计还能小一倍,也能快一些。
2020-05-28 10:05:43 +08:00
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
@cqdx02 当然可以,group by 就可以,看上面的 Q6,使用对应的函数对时间进行处理就行
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2646 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 12:46 · PVG 20:46 · LAX 05:46 · JFK 08:46
Developed with CodeLauncher
♥ Do have faith in what you're doing.