V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  dusu  ›  全部回复第 8 页 / 共 10 页
回复总数  183
1  2  3  4  5  6  7  8  9  10  
2020-03-01 03:48:57 +08:00
回复了 pabno 创建的主题 程序员 10 亿用户数据分库分表设计
光从性能角度来说

一级热数据进 redis (取最近登录多少天)

二级进 pika 或 ssdb 这类 kvdb (取最常登录多少次)

三级命中走 mysql 分表查询

无论存还是查 100 亿都问题不大
2020-02-05 13:18:06 +08:00
回复了 dusu 创建的主题 程序员 百万级 Hash,十亿个元素,分布式存储和索引选什么适合?
@cabing 自己做 proxy 其实也尝试过 单机问题不大。但是涉及到「分布式」这块一致性和稳定性比较难彻底解决。遂放弃。
2020-02-05 13:15:19 +08:00
回复了 dusu 创建的主题 程序员 百万级 Hash,十亿个元素,分布式存储和索引选什么适合?
@laminux29 大佬说的是,问题描述确实有些矛盾,其实也是想请教一下在这个场景下,大家会用的一些低成本高收益的方案。
2020-02-05 13:12:24 +08:00
回复了 dusu 创建的主题 程序员 百万级 Hash,十亿个元素,分布式存储和索引选什么适合?
@xautll 似乎 clickhouse 适合于离线分析 ,不适合高并发下 kv 查询。
2020-02-05 13:10:51 +08:00
回复了 dusu 创建的主题 程序员 百万级 Hash,十亿个元素,分布式存储和索引选什么适合?
@btnokami 目前是集群 回头试试 key 分片。
2020-02-05 13:07:52 +08:00
回复了 dusu 创建的主题 程序员 百万级 Hash,十亿个元素,分布式存储和索引选什么适合?
@ppyybb 感谢,目前用的就是 ssdb 集群。
2020-02-04 21:54:11 +08:00
回复了 dusu 创建的主题 程序员 百万级 Hash,十亿个元素,分布式存储和索引选什么适合?
@vus520
感谢,pika 其实挺好的,但是到 v3 后已经去掉 double master 支持了,
要自行引入 codis,不然还得带 docker,运维成本并不低
之前用 pika 当文件存储服务,存了 1.5T 文件后,
访问量不高,但 I/O 直接吃满,性能上不去,就不敢用了...

@fuis
感谢,TIDB 门槛有点高,个人开发者吃不消.
2020-01-22 12:22:10 +08:00
回复了 TanLeDeDaNong 创建的主题 Nintendo Switch switch 马上到了,求老鸟推荐几款多人游戏
无脑推 上古卷轴
@muxiaoke 甭试了 这家国人开的 网络去年硬盘挂了给补偿 2 月,以为会好点…结果依旧常年炸的不要不要的 这个故事告诉我们不要贪小便宜 早点申请退款洗洗睡吧 #来自年付当扔了的用户
2019-12-15 21:26:55 +08:00
回复了 dusu 创建的主题 问与答 给老婆订了台代步车,被亲妈嫌弃
@uer 老哥这个细腻到点了,小弟真心受用!之前确实钢铁直男去考虑问题…我好好再去屡屡。再次感谢老哥点拨 🙏
2019-12-15 17:52:46 +08:00
回复了 dusu 创建的主题 问与答 给老婆订了台代步车,被亲妈嫌弃
最后回复一下:

1. 南方(至少我们这)提车都会挑日子(习俗),虽然我也不太信这个,但是只有长辈懂,所以征求长辈的意见。这和妈宝扯不上半毛钱关系哈。

2. 征求亲妈意见是老婆先提出来的,我觉得这也是老婆对婆婆的尊重,并没有什么不妥。

各位意见我都虚心学习和借鉴,帖子到此打住,感谢各位的关心。
2019-12-15 11:55:19 +08:00
回复了 dusu 创建的主题 问与答 给老婆订了台代步车,被亲妈嫌弃
感谢楼上楼下的 v 友的建议。

统一回复一下:

1. 亲妈的说闲话的顾忌还是怕被亲戚借钱、借车之类的关系不好处理,这点在人情事故确实上很难处理,我也明白。因为工作原因,确实和家人沟通得比较少,下单前没和家人讨论也确实不应该。回头好好沟通一下。

2. 个人的经历不具参考性,比较难复制就不在这里给大家乱带路了,一个人从产品+设计+运营坚持一个项目十几年,之前一直负支出,这几年开始尝试变现。要总结就是:坚持自己的兴趣和信仰,现实一定不会亏待你的。

3. 关于 50w 的代步车在这边确实有些过。但是我和老婆都很喜欢那款车,其他各种其实都有试过很多,一是自己已经有七座 suv 了主要考虑轿车,二是想后续 8-10 年不用换车了,干脆一步到位。

综合以上,目前还是非常确定要坚持买。
2019-12-14 10:41:08 +08:00
回复了 pavlos 创建的主题 问与答 昨晚刚入手日版 switch,有什么好玩的游戏推荐吗
真没人在 ns 上玩「上古卷轴·天际」?我龙裔不佛!
2019-12-02 21:59:35 +08:00
回复了 aibuzhe 创建的主题 Django django 水平分表,如何将多个表的数据进行汇总分页?
有个东西叫索引表
2019-11-25 22:15:22 +08:00
回复了 kkshell 创建的主题 问与答 PHP 的一个 curl 问题
json 别编码试试:json_encode($data,320)
2019-11-25 21:52:06 +08:00
回复了 TangMonk 创建的主题 问与答 [怀旧] Pascal 有什么操作 DOM/Xpath 的库?
2019-11-25 21:37:40 +08:00
回复了 dackh 创建的主题 程序员 有没有办法把 4 亿数据在四个小时内打散到 100 张表内
1. 关所有 log/binlog
2. batch insert
3. 多进 /线程
4. tmp 目录指 /dev/shm 目录
5. 上 ssd

插入速度取决于你的硬盘读写速度。
4e 问题不大
2019-11-25 19:06:13 +08:00
回复了 yitd 创建的主题 问与答 手里有完美反扒方案如何变现?
给个地址 让 v 友爬到你怀疑人生
2019-11-17 04:40:01 +08:00
回复了 xiatong 创建的主题 Java 根据电影某一帧,匹配到某个电影。
电影检索核心其实还是降维的问题。

电影先降维到每一秒为截图,剔除掉相似度大的截图,存大盘鸡或 oss,然后转 simhash 之类的存检索库,求相似度应该能粗略解决一些需求。

假如一本电影 2 小时,截图 7200 张,滤重后假设 5000 张?算检索 100w 部电影最终也就降维到 50 亿张图片的 simhash 检索而已。

当然,图片特征识别应该是在检索降维中比较重要的一些细节等等,个人小团队要想做好这个引擎,应该有很长的路要走。
1  2  3  4  5  6  7  8  9  10  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2239 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 04:43 · PVG 12:43 · LAX 21:43 · JFK 00:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.