在国内,对包括傅炜在内的数量庞大的球迷来说,2018年俄罗斯世界杯改变了他们的观看方式。不同于此前历届世界杯对电视机的不离不弃,由手机、平板这些终端承载的CNTV移动直播,以便携性、互动性、高清流畅的画质征服了万千球迷,成为了大多数人的唯一收看选择。他们不会想到,当人们通过移动直播观看扣人心弦的比赛时,一场场与不良用户体验较量的“比赛”,也在悄悄地同时进行着......
左岸所在的公司,此前为包括2018年央视春晚在内的多项重大事件直播提供过技术保障。尽管已经“身经百战”,深得客户信任,“但是刚接到CNTV的世界杯直播这个需求的时候,说实话还是有点紧张”,曾担任过今年央视春晚金山云直播保障团队总负责人的左岸,对于他的新身份——CNTV世界杯直播保障团队总负责人,一开始有些迟疑。
这是因为,世界杯直播的保障压力比春晚大得多。首先,世界杯的多端直播覆盖搭载iOS、安卓系统的手机和平板等不同的移动终端,这在世界杯的直播历史上还是第一次,上届世界杯还没有这样的直播,对于各方来说都是第一次;第二,世界杯不同于此前的任何一次重大直播,它包含在一个月之内的多场重点直播,属于时间较长的保障,再加上比赛时间的时差和数量庞大的观众,“需要协调的东西非常多”。
巨大的压力下,左岸的动力反倒充足起来。他迅速调整心态,将此次看作是一次难得的锻炼和提升团队的机会,“任务越艰巨越好”。他比喻说,为CNTV这样的大客户做直播保障,竞争非常激烈,这和世界杯的赛程分为小组赛和淘汰赛一样。客户的要求很高,如果达不到,就会被淘汰掉。不想被淘汰的话,就要“苦练内功”,扎扎实实地做好服务,“我想借这次给世界杯直播做保障的机会,证明我们团队的实力”。
为了确保此次直播保障的顺利进行,在左岸的带领下,金山云在5月初迅速成立了项目组,一个月之后成立了世界杯直播保障指挥中心(以下简称“指挥中心”),团队有数十人,人员分两部分,一部分负责基础保障,包括运维和调优,一部分负责研发。
在保障计划的制定上,金山云准备得十分充分。整体预案涉及到方方面面,前期左岸和同事们用了两周的时间来做预案文件,“做得非常详细”,左岸介绍说,其实金山云在历次承接重大直播的保障服务前,都会做相应的重保方案,但这次是世界杯,金山云也是第一次接规模这么大的直播,所以预案要做得比以往更严谨更具体。整体的系统、所有的资源压力,包括技术上的压力都需要指挥中心事先进行评估。评估后,左岸带领团队要做重保的演练,要去模拟所有直播中可能会出现的情况和故障,看团队的响应和处理能力如何,而且,在世界杯正式开始前,这样的演练需要反复进行。
随着世界杯开幕日期的一天天临近,左岸和同事们摩拳擦掌,信心十足又有些忐忑地准备迎接这场“大考”。
随着世界杯小组赛的推进和比赛的密集进行,真正的考验来了。在指标的保障、资源的调度、切换的机制等方面,尽管此前做了充分的准备,但在直播中还是不可避免地出现了两、三次如卡顿率等指标超出正常范围的情况。原因在于,某场比赛观看的人数太多,导致新建的CDN节点性能受到影响,卡顿率就会上升;另外,由于时差因素,一些比赛在国内的周末黄金时间进行,短时间内流量峰值极高,一些CDN节点就会出现“跑满”的问题。
从发现问题开始,左岸一边不断查看指标数据,一边通过线上工作群,不断与团队里的各位负责人沟通,商量解决方案。指挥中心内,焦急挂在了每个人的脸上,如果去远一点的地方,都是以跑代走,相互的配合直接高效,不说废话,间或伴随着思路上的争执。一旁的桌子上,公司行政部门送来的夜宵也早已变凉,没有人顾得上吃。
“直播中出现问题,我们比客户还要着急,团队的兄弟们,都一门心思想着怎么才能快速解决”,阿韫说,如果卡顿率指标高出正常值,或者是节点压力大,那么就意味着有一部分用户的观看体验受到了影响,“做世界杯的直播保障是要熬夜的,我们都是比如说晚上九、十点盯一场,然后连着凌晨两点再盯一场,盯一宿下来当然很累,也有第二天不用继续上班的规定,“但我发现,很多人经常是第二天白天的时候并不回去休息,还在指挥部里和别人讨论和分享经验,心思我最清楚,大家都希望能带给观众最好的观赛体验。如果我们是一支球队,我们正在淘汰故障,不断晋级”。
即便如此,左岸和大家仍然坚持在每天的比赛结束后进行“复盘”——对出现的现象进行讨论和研究,制定如何避免的方案。如果是小问题,要具体规定在多长时间内解决,精准到分钟。如果是系统性的问题,要根据指标数据,制定全新的方案,一天之内就要推出来并实行。
整体情况:7月2日带宽情况,峰值时间点:7月2日23:40(巴西-墨西哥),峰值带宽T级别量级;待解决问题:源站数据延迟问题、个别节点资源利用率问题......这是指挥中心一封内部邮件内容。包括直播当天的整体情况、问题故障、需求如何处理、工作优先级安排、已完成任务等等,“针对每天的直播保障情况,我们团队都会制作相关的邮件并群发出来,这样更有条理,更有计划性”,左岸在分享他的直播保障经验时这样说道。
在此次世界杯期间,金山云为了直播的顺畅,采用了不少优势技术和方案。据阿韫介绍,例如每场比赛都会用的智能调度,这种技术可以自动计算节点是否已满,快满了的话把流量调均匀,最大程度实现最优节点覆盖,帮助客户解决不同类型业务的加速调优,从而保证播放流畅。又如针对直播的负载均衡机制,避免某台设备过热出现故障。再如源站采用北京上海异地多活架构,金山云支持源站故障秒切,保证直播的流畅。“我们有了世界杯小组赛直播的经验,加上有这些‘黑科技’的加持,为决赛、半决赛提供保障就不在话下了”。
和团队里的很多人一样,小琦也是球迷,他说这次是他观看世界杯的历史上最特殊的一次,“我们做保障的时候,球当然也能看,但心态与平常看球不一样,我们是监控着看,时刻注意视频和声音,时刻绷紧神经,担心有问题出现,关心比赛直播的视频流畅度远远胜过比赛的结果。其实大家都一样,每次都是直到比赛结束,明显感觉到大家才放松下来”。
7月16日早上五点半,左岸掐灭手中的烟,打算马上回到公司,拍拍兄弟们的肩膀,向一个月以来与自己日夜并肩作战的同事们说一声“辛苦了”,再请大家吃顿大餐。而在北京的另一边,傅炜由于法国队最终夺冠,兴奋得一夜未眠,“这是我看的最爽的一届世界杯!特别是这次的视频直播特给力,不像我用别的APP看那么卡,画面也不清楚,CNTV的这个直播效果,也不知道幕后这些人是怎么实现的,他们想必也经历了很多次‘比赛’吧”。