龙珠直播使用透视宝性能管理服务的案例分享

视频直播作为 90 后网络用户新兴的网络娱乐方式，自 2013 年起随着大量游戏直播平台和在线秀场的兴起而迅速火了起来，龙珠直播、斗鱼和战旗 TV 作为国内游戏直播领域的三巨头，成为游戏玩家观看视频的首选，也引来了国民老公王思聪斥资数亿打造自己的视频直播平台。
LOL 等网游的流行和游戏竞技赛事的火爆，给各大直播平台带来了巨大的流量，同时也考验着各大平台的性能。龙珠直播作为三大游戏直播平台之一，是如何在前不久的 LOL 龙珠直播狂欢夜上，经受住同时在线人数 313 万这一性能考验的呢？

客户背景：

龙珠直播是由苏州游视网络科技有限公司打造的游戏直播平台，于 2015 年 2 月 1 日正式上线，主要为游戏玩家提供网游视频直播和音乐直播等服务。目前龙珠直播与韩国职业电子竞技协会（ KeSPA ）、游戏风云、 NICETV 等组织达成战略合作，拥有《英雄联盟》职业联赛（ LPL ）、《穿越火线》电视职业联赛（ CFPL ）等超过 30 余款游戏顶级赛事的直播权。
需求分析：
龙珠直播的现有业务主要依托于其网站平台和视频内容分发平台，其中网站平台承载了在线直播的各种关键业务功能，每天的用户访问量超过 1 亿次，夜晚高峰时段的直播观看人数达到数百万量级，英雄联盟、穿越火线等热门游戏直播间的日访问量超过 600 万次。而一些热门赛事直播的同时观看人数同样高达百万，在前不久的 LOL 龙珠直播狂欢夜上，龙珠直播平台同时在线人数突破 313 万。

龙珠 Web 应用系统架构图

龙珠官网的应用架构采用典型互联网应用架构，前端使用 Nginx 负载均衡，应用程序服务器为 IIS ，数据库为 MySQL ，中间加入 Redis 、 Mongo 做的缓存服务，应用支撑的平台包括 PHP 、 Java 和.Net ，每个应用平均日访问量超过 200 万次，最高的应用日访问量超过 1000 万次。
如何保证龙珠直播平台在大流量、高并发情况下持续稳定运行，确保系统不会因网络、主机、应用、数据库性能瓶颈以及代码问题，对用户体验造成影响，是龙珠的 IT 运维部门希望通过与云智慧的合作得到解决的。
解决方案：
针对龙珠平台的典型架构和业务需求，云智慧提供了以透视宝为核心的一体化端到端应用性能管理解决方案，帮助龙珠实现了线上生产环境的持续数据库优化、应用错误分析、代码问题发现、数据访问性能监控、主机监控、后端服务监控等一系列能力。

典型应用
 数据库性能优化
应用开发完成上线后，需要知道应用的数据库访问效率如何（即发现 SQL 脚本的效率问题），透视宝.Net Agent 安装后可实时抓取应用执行过的 SQL 脚本及执行时间，并分析可能产生的问题和数据库锁的情况，这些问题在测试阶段是很难完成的；
 应用错误分析
对于线上应用，代码级异常往往不可避免且较难重现，但非常重要，透视宝.Net Agent 会抓取这些运行时错误，分析错误产生的原因并可明确的告知用户的信息有：什么时间、哪个 URL 、 URL 的参数及详细的错误信息，用户可根据这些信息便可了解问题产生的真实场景和原因。
 代码问题发现
应用上线后可能会存在代码执行效率问题，这些问题如果不通过代码检查往往很被发现，透视宝.Net Agent 支持基于黑白名单配置的代码调用堆栈数据抓取，在代码栈里，可以明确的看到每个方法的执行时间、调用次数、调用了哪些资源或 API 等，并明确的标记出存在问题的代码位置，帮助用户优化代码，解决代码执行问题。
 数据访问性能监控
在龙珠的应用架构中，基于 NoSQL 的数据操作场景大量存在，例如： Redis 、 Mongo ，.Net Agent 会从代码级别统计应用对这些缓存服务的访问情况，例如：应用对 Redis 的请求量是多大、命中率是多少、 Value 的大小是多少及合理性分析等，这些数据对客户优化应用性能非常有价值；
 主机监控
监控龙珠部署在腾讯云的主机状态，实时关注各项性能指标： CPU 、内存、进程、磁盘、网卡信息及 TCP 等；
 后端服务监控
监控 MySQL 、 Nginx 、 Redis 等后端服务的运行状态，例如： MySQL 吞吐率、 Redis 命中率等；
方案价值：
随着透视宝应用性能管理解决方案在龙珠平台的全面部署，龙珠的运维团队通过透视宝能够：
 实时发现性能瓶颈，并且能够记录瓶颈产生的全部过程；
 及时发现用户的应用表现情况，记录用户应用过程中事务的现状。例如：哪些事务响应时间比较慢、响应比较慢的事务和哪些事务有关联。
 真正实现端到端一体化的监控，从客户端、浏览器、 CODE 端、数据库端、服务器端，端与端之间实现关联。
客户证言：
龙珠直播运维总监对透视宝的评价是：透视宝具备快速发现和定位问题的能力，为龙珠直播向用户提供高质量的持续服务提供了保障。

[附] 龙珠案例应用实例：
（一）、发现性能瓶颈，确保应用顺利上线；
龙珠直播内容搜索 API 应用上线后，服务器持续报警，负载较高，但开发人员一直无法定位问题，对线上产品的持续服务能力产生较大影响。
在安装透视宝后，立即发现如下几个问题：
（ 1 ）、慢 SQL ：通过抓取到的 SQL 语句发现，应用中存在很多执行效率较差的脚本，有的脚本执行时间甚至达到 1 秒以上；
（ 2 ）、代码问题：通过应用代码栈发现，同一条 SQL 在一次请求里被连续调用 4 次，这种代码失误，对于高并发的应用影响较大；
（ 3 ）、 Redis 访问优化：通过分析请求列表及数据发现，一些本应该到 Redis 的请求直接打到了数据库上，如果访问量足够，会直接导致数据库宕掉；

（二）、监控应用访问异常，优化应用访问体验
在应用监控过程中，有的应用会存在大量的 404 错误（这些错误会被 Agent 抓取并保存），这些的应用 404 错误地址的格式表现为 http://********/undefine ，这种地址的产生的原因是： JS 在获取页面对象并进行 Ajax 请求时获取页面对象错误，从而导致地址错误，需要优化前脚本，提升用户访问体验；

（三）、数据库性能优化
透视宝提供数据库整体性能优化与分析功能，快速定位慢 SQL ，提升应用访问数据库的性能。

（四）请求性能优化
透视宝提供请求整体性能优化与分析功能，快速定位慢请求，提升应用的性能。

透视宝官网： www.toushibao.com