@wangking #29 收费的, 对象存储一般上传流量不收费, 下载和存储都收费,

扔到 s3 之类的对象存储上, 价格会稍微贵点, 一个月几百块钱吧

@also24 只缺一个程序员系列

N 个 9 的故障概率只是个数字, 发生了就是百分百, 各家云服务商的 SLA 都差不多的, 就和快递一样, 如果没有做保价, 都是按照快递费赔偿(快递费的多少倍), 而做了保价, 就由保险公司赔偿了,

如果赔偿 1kw, 那云厂商都不用做了, 光故障赔偿都能赔破产,

上家公司用的云服务比较多, 引入一家云服务的时候, 首先考虑的就是 backup , 任何一家故障, 都能快速切换到别家, 期间遇到过各种故障, 云存储, 邮件服务, 短信服务, 身份证验证服务 等等(具体厂商就不提了), 都曾发生过故障, 但对于自己线上环境, 影响非常有限, 17 年 对象存储 4h+ 的故障, 线上的影响只是改个配置文件+restart

其实具体操作倒是可以不用 care, 比如怎么去 full text search , 怎么 term search 之类的, 不会了查文档就可以,

依照楼主的思路, 主要应用在日志这块, 可以尝试如下:

日志收集 ==> 一般用 filebeat 收集, logstash 解析为 结构化数据, 比如 nginx 日志, 解析出 status, byte send, url path, url refer

日志查看以及搜索, 简单的分析 ==> kibana

日志告警 ==> 对异常状态产生的日志发送告警信息, 可以在两个点做, logstash 处理日志的时, 可以执行个脚本发送告警, 或者用第三方工具, 用游标的方式监控特定 index, 符合条件就发送告警

高级分析, 业务分析 ==> 写程序, 出报表, 和用 RDBMS 没区别, 查询方式 /数据源 变了而已

优化 ==> 觉得最应该做的是 ES 集群的优化, 当日志的量特别大的时候, IO 不够, 查询慢, 集群脑裂等, 另外, 基于 ES 的日志体系数据链太长, filebeat --> mq(redis/kafka) --> logstash --> es --> toos (kibana/other),任何一个点出问题都会影响整个流程, 如何保证整个数据链的健壮以及容错性


反而楼主问的: `而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?` 不太重要

很多 ftp client 都提供 sync 功能, 另外可以试试 rclone

说句题外话, 和 楼主 /本帖 无关

golang 目前的状态是 N 多各种框架 /库 , 但不知道什么时候就不维护了, star 多的还可以转社区维护(如 mgo, martini), star 少的 直接 GG

ui 很不错, 不知道什么协议, 想拿来改改用下

@nvhanzhi #43 阿里的磁盘 IO 是和大小有关系的, 以前遇到过 N 次 磁盘 IO 莫名飙升导致的整个 server 假死, ping 都 ping 不通的情况

@nvhanzhi #34 另外, 加下 swap, 一般云服务器都是禁用 swap, 虽然说性能会下降, 但不至于死, 内存大小的 2 倍就 OK

@nvhanzhi #34 建议, 换个稍微大点的 SSD 盘, 把数据库迁进去 , 500G 左右的, 具体看下参数, 阿里云小磁盘, iops 灰常感人, 写日志都能把磁盘 io 写满

data dir 在 Aliyun 自带的系统盘?

本来去买笔筒的, 结果买了个笔记本支架 😭

@zetary #1 小米 65w 温度喜人, 从 0 冲到 100, 时间没注意, 反正烫手, 是正的烫手, 感觉快炸了

去年还是前年, 被 ddos, 攻击 IP 有很多是阿里云的 ip, 屏蔽了之后发工单问, 回复说证实之后会处罚, 还特意在工单里面说有结果了让通知下, 后来, 工单就被关闭了

你知道 579 么

表示半年去维修点清一次灰, 去了直接说键盘异常, 摁下去谈不起来, 粘连键什么的, 一般这种会直接帮你清灰, 5min 就 OK

主要还是 go 的 reflect 太弱了

我的理解是关系型数据库, 可以试试以下两种方案

增加硬件配置

磁盘 HDD 换 SSD, 内存翻倍


单点 ==> 集群

以 mysql 为例, 有很多集群解决方案, 各种云厂商也有云服务, 推荐两种, 一种是 mysql 原生的集群, 主从集群, 同步或异步复制, 可以读写分离提高性能, 不过 client 得做相应的处理, 大多数 client 应该都是支持的, 或者采用 percona cluster, 多主, 也非常成熟, 客户端不用做任何处理


单库 ==> 多库

先把表分下类, 放到几个单独的数据库, 分类的时候注意, 关联性比较强的, 比如需要做关联查询的可以放一个库,


反正就是先别急着横向分表, 后续一大堆麻烦事, 不要轻易尝试, 建议先从以上三个方案着手