互联网公司上线问题

[renshuxian]

小弟新去了一家互联网公司，每两周上线一次，每次都要凌晨发新的包，每次都要陪着通宵，总这样感觉身体要跨，想研究下怎么能白天发包然后热部署呢，公司现在已经是初步的分布式+集群 几十台服务器 几十个服务相互调用

[renshuxian]

@ywgx 阿里云真的比自己买服务器雇运维强么

[renshuxian]

@owt5008137 好的 研究下

[renshuxian]

@chocotan 那不是要搞死人

[renshuxian]

@matrix67 有 ha 负载但是还是要晚上上 - -

[sujin190]

互联网公司连简单的灰度发布都没有么。。多搞一台机器，先发到那台机器，然后指定某些用户访问那台机器测试， ok 的话全量更新，这种不应该有问题啊，否则就是你们测试过程太随便了

[ywgx]

@renshuxian 这个没法对比，总之云上 就是 花钱省时间省事，快； 而 云的稳定性 不要过度依赖， 什么时候 支付宝，天猫，淘宝 90%的业务都在 阿里云了， 那个时候就差不多了

[xi_lin]

灰度不是万能的吧。比如碰上数据库表结构变更的时候
@sujin190

[ywgx]

@renshuxian 要不 微信联系 rubycoding ，用不用 无所谓，或许可以解决你的问题呢

[ma125125t]

这就受不了？我们平均一天发布一点五次。。

[kideny]

study

[sujin190]

@xi_lin 一般来说绝大部分上线都是不用修改数据结构的，在需要修改数据接口的上线中，又有很大部分是新加功能，这种情况来说不用等到凌晨啊，再者分开业务上线，控制影响范围才是啊

[quericy]

凌晨 4 点加字段才蛋疼好么....

@chocotan +1,哎,产品兼职测试简直酸爽

[xi_lin]

@sujin190 控制影响范围也是有影响嘛，我只是想表达一下灰度不是万能的。大表加字段可不敢在高峰期直接玩。

[diggzhang]

原来有相同工作场景啊！深夜上线麻烦多 == 新系统 /架构上线麻烦多。每次看到后端同事熬夜 debug ，简直英雄惜英雄。
目前了解到的优解办法是构建预发布系统:
主流的有 gor ，去录制流量，回放流量。
还有网易的 tcpcopy ，流量请求生成环境同时，复制一份到测试环境。然后相同思路，稍微好用一些的还有 duplicator 。
用真实流量去测试将要发布的系统，让问题尽早暴露。

[renshuxian]

@ywgx 这个要和领导请示下 毕竟已经买了很多很贵的服务器了

[renshuxian]

@sujin190 我们预发布的环境就是最新的 war 包然后是生产的数据库，测通过了才会切生产，但是切过去还是会有莫名其妙的问题 - -

[renshuxian]

@ma125125t 五次都是在白天 不可怕，都是晚上那不是要搞死

[renshuxian]

@diggzhang 预发布有的，就是测通过了还是要晚上上，这个是最根本的问题，晚上困那，改 bug 很费力

[wangzhangwei]

招人吧，轮班。

[ywgx]

@renshuxian 是的，这个非常理解， 不过讲真，这个成本很低，只会让你们更省钱，可以按量试用一周，好不好很快就明白