V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  snw  ›  全部回复第 13 页 / 共 129 页
回复总数  2563
1 ... 9  10  11  12  13  14  15  16  17  18 ... 129  
@WangLiCha
普通的数据仓库大多是二维表的数据库,和大数据没直接关系,即使有关也是从大数据源(比如数据湖)里抽取并整理之后的少量数据,处于大数据项目偏下游位置。至于数据中台,处在比数据仓库更下游的位置,只比报表制作者和报表使用者稍上面一些。

真正接触大数据上游的人大多都是数据科学家/数据工程师+IT ,写代码敲命令居多,不太需要 GUI 。

至于你问大数据有什么特别的,你可以看一下大数据的基本特征,没有哪条能用常见数据库来达成。
* 量 volume: TB 只是基础单位,上到 PB EB 的数据量,你用普通通用数据库能应付吗?
* 种类 variety: 结构化数据容易用通用数据库处理,给一堆非结构化数据你怎么处理呢?
* 速度 velocity: 比如 1 个车间有 100 台机器,每台机器有 100 个传感器,每个传感器以 1kHz 采样,那么每秒就有 1000 万个采样点,你用传统数据库每秒 insert 1000 万行数据吗?当然 PostgreSQL 可能勉强能达到,但过段时间你有 10 个车间,传感器采样率提高到了 16kHz ,你继续堆数据库硬件吗?
* 可信度 veracity: 传统数据库里的公司内部数据,DBA 很容易管理数据质量,但当你的爬虫从互联网上爬来一大堆乱七八糟的数据时,你怎样从中提取有效信息做成可靠的报告?
数据仓库( data warehouse )不是什么新概念,至少在 1980 年代就已经有商业应用了。
数据市集( data mart )也是有了数据仓库后自然延伸的概念,比数据仓库更小,一般是从数据仓库里提取了一小部分数据,便于做报告。就像商店从仓库里取出部分货物放到货架上一样。
以上两个都是很早就有的概念,和大数据没直接关系,和传统 OLAP 、ETL 等概念关系更大一些。

传统数据大多是结构化数据,用二维表很容易存储,用 ETL 很容易处理,用 OLAP 很容易分析。
大数据,是现在数据量更加庞大、数据关系和逻辑更加复杂(比如非结构化数据),需要和传统数据库不同的设计和工具,概念大概出现在 2010 年代前期。
数据湖( data lake )是和大数据差不多时期出现的概念。

至于数据域、数据指标,虽然能搜到,但具体不太清楚。

大部分是数据库管理员的事情,和前端工作关系不大,前端可能要做的是 BI 报告平台。
2023-08-15 19:25:30 +08:00
回复了 villivateur 创建的主题 分享发现 刚刚注册 Oracle Cloud 突然就成功了,分享一下注册方法
感觉像斯纳金的鸽子实验那样...

“食物分发器被设定为每隔 15 秒落下食丸,不管动物当时在做什么。可以看到这便产生了非关联性强化。换句话说,不管动物做了什么,每隔 15 秒它将得到一份奖励。”
“让每只鸽子每天在实验箱里待几分钟,对其行为不作任何限制。在这期间,每个 15 秒强化自动出现。几天后,两个独立的观测者记录了鸽子在箱中的行为。”

“ 8 只鸽子中的 6 只产生了非常明显的反应,两名观察者得到了完全一致的记录。
一只鸽子形成了在箱子中逆时针转圈的条件反射,在两次强化之间转 2 - 3 圈;另一只反复将头撞向箱子上方的一个角落;第三只只显现出一种上举反应,似乎把头放在一根看不见的杆下面并反复抬起它。还有两只鸽子的头和身体呈现出一种摇摆似的动作,它们头部前伸,并且从右向左大幅度摇摆,接着再慢慢的转过来,它们的身子也顺势移动,动作幅度过大时还会向前走几步。还有一只鸽子形成了不完整的啄击或轻触的条件反应,动作直冲地面但并不接触。”

上述的行为都是在建立条件反射前未曾观测到的。实际上新的行为和鸽子得到食物毫无联系。然而,它们表现的就好像行为会产生食物似的;也就是说,它们变得迷信了。
2023-08-15 08:32:44 +08:00
回复了 CHENYIMING 创建的主题 问与答 你的微信,真的是你的微信吗?
境外 IP 以及机房 IP 都很容易触发非常严格的风控,而这类风控的逻辑压根不会仔细测试,只负责封禁不负责解封,所以出现莫名其妙自相矛盾的指示没什么好奇怪的。

反正张小龙________
2023-08-13 13:01:31 +08:00
回复了 domainnamesir 创建的主题 问与答 微信发信息:在吗?? 这些人是不是有病?
2023-08-13 12:49:27 +08:00
回复了 domainnamesir 创建的主题 问与答 微信发信息:在吗?? 这些人是不是有病?
2023-08-12 16:19:49 +08:00
回复了 thinkm 创建的主题 程序员 最近的信托爆雷会影响我的 R2 稳健型理财吗?
票面利率 4.05%的五年期大额存单,真实年化利率是 3.76%
2023-08-12 15:18:27 +08:00
回复了 thinkm 创建的主题 程序员 最近的信托爆雷会影响我的 R2 稳健型理财吗?
@majula
参加存款保险的银行即使倒闭,保障范围内的存款仍会由存款保险基金管理有限责任公司(央行的子公司)保证兑付。当然还得注意:
1. 该银行是否参加了存款保险(绝大部分银行金融机构都参加,但不排除个别小型金融机构不在名单)
2. 存款真的是保障范围内的存款(反例是上次河南村镇银行事件,“存款”只在 app 上显示存入,实际压根没存入)

类似的还有中国保险保障基金有限责任公司(财政部的子公司),用来确保即使保险公司倒闭,保单仍然能被接手。
2023-08-12 00:01:59 +08:00
回复了 ihacku 创建的主题 酷工作 整理了下这周看到的信息安全相关招聘(持续更新)
@tony1016
现在针对拔网线、关网站之类消极应对方式有规则约束了吗?
2023-08-11 22:38:07 +08:00
回复了 thinkm 创建的主题 程序员 最近的信托爆雷会影响我的 R2 稳健型理财吗?
@OutOfMemoryError
经济周期罢了,近一年美国为了压制通胀所以大幅加息,许多国家为了避免资本外流或稳定汇率所以不得不跟着加息。中国因为当前经济增长趋缓所以大幅降息试图刺激经济。
如果你看十年前,欧美国家大多在 0-2%,而中国那时实际无风险的理财利率也有 4-5%

另外,境外所有投资一定要留意机构本身风险评级。
2023-08-11 22:25:06 +08:00
回复了 chesha1 创建的主题 问与答 为什么各个券商的软件界面都很丑?
以前证交所的大屏是 LED 二极管阵列,背景是黑的。为了迎合老股民习惯,早些年开发的交易软件也沿用了黑色背景。
2023-08-11 22:22:20 +08:00
回复了 thinkm 创建的主题 程序员 最近的信托爆雷会影响我的 R2 稳健型理财吗?
R2 早就会亏了,因为早前的低风险理财虽然有风险提示但实际上是刚性兑付。后来监管要求理财产品全部打破刚兑避免系统性风险,于是大部分理财产品转成净值型,价值会浮动。
1 ... 9  10  11  12  13  14  15  16  17  18 ... 129  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1327 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 23:55 · PVG 07:55 · LAX 15:55 · JFK 18:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.