jeeyong
2022-06-12 01:29:10 +08:00
举个小例子, 项目涉密, 不知道到没到脱密期, 说的笼统些.
某人口大省, 联通, 电信, 移动均有对用户某类信息存储, 分析的需求.
数据量单一家每秒增量约 800M.
架构师需要设计出, 用什么样的硬件+系统(自研, 外购, github)能用最少的钱完成以上需求..
800MB 的数据都是文本字符串..每个用户发送的信息量很少..一般格式就是:
xxxx|xxxxxx|xxxxxx,xxxxx|xxxxx 但是并发巨大. 之前因为做不到, 只能全部或者部分丢弃..
这其中的问题:
那个年代, 提出这个项目的时候, 能够存储秒级 800M 数据的系统或者硬件可供选择的范围并不多..固态硬盘做存储那是太奢侈了, 512GB 的 SATA SSD 要 4800 的时候. 我换了一块到我的 MBP 上, 为了和天才吧的工作人员较真.
基本就是 oracle, SAP Hana, IBM, 或者一些开源魔改的商家(看 PPT 可以支持),通常是 spark+hadoop 为基础.
验证, 然后确认软件架构的方案..设计存储策略.. 制定或者限定延迟分析的时间阈值..
我不是项目架构师, 我只是和他认识.
最后项目折腾下来, 出来了一款服务于各大政府\国企的大数据数据库. 算是完全自研吧..
性能指标还不错(我只是看了各类测试的 PPT).
或者你可以想一下, 现在, 2022 年, 设计一个每秒增量 10GB 的系统?? 没有任何比例换算, 就随便想的一个数字. 是之前参与过的一个项目的增量... 硬盘都是用好几辆卡车运的..
懂行的也许能猜到是什么类型的项目..
看破不说破哈..我还年轻, 不想作任何幺蛾子...就纯分享
上面说的需求, 现在是一家专门销售数据库和解决方案的公司.
还接触过一个项目, 2U 服务器内 2 套准系统互为冗余, 4 路光纤网络互为冗余, 俩俩聚合, 互为冗余..
每台服务器, 俩俩一组, 互为冗余, 当然交换机啥的也都是..最过分的是, 还有个机房有一套一摸一样的系统, 两个机房互为冗余..
那这种需求, 硬件架构上怎么实现, 是否存在必要性, 软件层面怎么搞, 全部互为冗余的时候, 这软件方案是什么样的?
买? 自己写? 架构师在设计的时候大致有底.. 但你让他上手写, 可能要憋很久, 然后开始翻手册, baidu, google 大法...哈哈哈
文中部分内容有些许错误和偏差为主观故意. 忘各位看官高抬贵手.