V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  levelworm  ›  全部回复第 119 页 / 共 176 页
回复总数  3518
1 ... 115  116  117  118  119  120  121  122  123  124 ... 176  
求问同学们用云主机都做点什么啊?
2021-06-09 07:53:47 +08:00
回复了 aladdindingding 创建的主题 问与答 服务端一般是怎么处理一些埋点数据的入库呢?
好吧激动的说了一会,发现好像侧重于数据工程这头,但是题主似乎问的是数据源头的问题。。。不管了。
2021-06-09 07:51:36 +08:00
回复了 aladdindingding 创建的主题 问与答 服务端一般是怎么处理一些埋点数据的入库呢?
刚才忘说了,数据仓库上可能还有一层聚合表或者 View,但是看情况而定,总之就是确保分析的查询越简单越快捷越好。

经常遇到的数据和表的设计问题:

之一:分析需要对两个不同 topic 出来的数据进行 join,但是又没有共同的 field,怎么办?

之二:分析需要实时的聚合数据,但是聚合通常有时间差,怎么办?

之三:分析有时候需要对某一类数据进行分析,但是这一类数据可能散落在很多个 topic 中,怎么办?
2021-06-09 07:48:42 +08:00
回复了 aladdindingding 创建的主题 问与答 服务端一般是怎么处理一些埋点数据的入库呢?
我司的思路:

Kafka 进来,按照配置文件进不同的 topic,然后不同的 topic 可能单独进表或者几个 topic 进同一个表,也可能一个 topic 通过变换进不同的表。中间用 Spark 写变换工具,所有的变换用配置文件表示。大致上算是 ELT 的思路?但是这仅仅是 raw data,等进了数据库之后,可以根据分析需求,进一步做变换和聚合,生成有一定延时的数据仓库,供 Power BI/Tableau 等 BI 工具使用。

建议根据业务和分析的需求,好好设计一下数据、topic 和初始的生肉数据库以及后面的数据仓库。
2021-06-08 19:32:26 +08:00
回复了 iFlicker 创建的主题 程序员 坐标上海 stackoverflow 503 了
话说这种 cdn 炸一般是什么问题
2021-06-07 20:05:21 +08:00
回复了 szuwl 创建的主题 程序员 为什么很少听说有人用 kotlin 开发后端
@Jooooooooo 这个我觉得要比 if else 写在外头的更直观啊,和三目操作符不一样。这个更接近口语了。不过就是 if else 的部分不能太长,否则一溜看下来也不舒服。
2021-06-07 11:40:57 +08:00
回复了 szuwl 创建的主题 程序员 为什么很少听说有人用 kotlin 开发后端
看了下语法 return on when 有点骚啊
2021-06-05 23:48:50 +08:00
回复了 kensoz 创建的主题 程序员 上司不允许使用 es6 新特性理由是他看不懂
@hotsymbol 这个就太无语了,3 都出来多少年了。的确啊这种就得赶紧走了。
2021-06-05 12:13:50 +08:00
回复了 reneep 创建的主题 奇思妙想 你们不想工作的时候是靠什么打消了自己的念头的?
@Solace202 哎说白了还是得再赚一点。
2021-06-05 02:52:14 +08:00
回复了 kensoz 创建的主题 程序员 上司不允许使用 es6 新特性理由是他看不懂
@young1lin 说明对你来说不够高啊。。。换工作吧
2021-06-05 02:51:41 +08:00
回复了 richChou 创建的主题 程序员 又是看 API 文档崩溃的一天
@namelosw 文档驱动开发我觉得蛮好的,搞得好的话,弄不好可以半自动化。当然前提是需求搞清楚,框架搭起来。
2021-06-05 02:50:40 +08:00
回复了 richChou 创建的主题 程序员 又是看 API 文档崩溃的一天
写需求,写文档,都是吃力不讨好但是长远看比较重要的两件事情。所以这事情还是得公司或者组给力。
不过互联网风、业务驱动的公司我觉得可能都没时间,一切从快。。。外加业务话语权最大可以随便换需求,换来换去需求文档都变成屎了。
我想了下是不是这样,就是用一个窗口啥的,一个个移过去,这样就算是密文,也应该可以解密吧。比如说密文 6 位,你输入 40 位,这样他每次检测 6 位,不知道可行否?
我知道有些车库的开关就是这样,只不过他是真的明文。
可以 dump 下来看看里头的东西。另外能不能防电击?据说很多电子锁在受到点击的时候会 reset,回到没有初始密码的情况,也就是可以打开了。
2021-06-04 21:14:31 +08:00
回复了 kensoz 创建的主题 程序员 上司不允许使用 es6 新特性理由是他看不懂
@young1lin 给的钱也多啊,当然如果给的钱没多那就另说
2021-06-04 20:49:13 +08:00
回复了 kensoz 创建的主题 程序员 上司不允许使用 es6 新特性理由是他看不懂
@touchwithe 但是我觉得终身学习是可以有不同方向的。
2021-06-04 20:42:34 +08:00
回复了 x97bgt 创建的主题 问与答 有啥可以自定义 cheatsheet 的命令行工具吗?
不用生成 pdf 之类的吗?感觉 CLI 输出格式不太好搞啊
2021-06-04 20:40:27 +08:00
回复了 kensoz 创建的主题 程序员 上司不允许使用 es6 新特性理由是他看不懂
@touchwithe 这个是核心语法啊,他不懂是不对了
其实我一直琢磨,对于比如说 java, C++等语法比较多,年数比较久得语言来说,到底哪些语法算是核心语法,不懂就不对?
1 ... 115  116  117  118  119  120  121  122  123  124 ... 176  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   997 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 48ms · UTC 21:45 · PVG 05:45 · LAX 14:45 · JFK 17:45
Developed with CodeLauncher
♥ Do have faith in what you're doing.