在6月10日下午举办的亚太内容分发大会暨CDN峰会【运营商论坛】上，浩瀚深度应用产品部经理刘少凯发表了题为《IDC数据中心内容运营一体化解决方案》的精彩演讲。
首先刘少凯分析了目前IDC和CDN市场的发展趋势，随着5G等新兴技术的日益成熟，数据中心也在飞速的发展。据Gartner的数据显示，到2020年中国数据中心总收入达到了一千五百亿；IDC行业每年保持着30%的复合增长率。中国CDN市场预计到2022年达到约一千四百亿元的市场规模。
全球每个数据中心的规模也在日益增长；据不完全统计，2019年年底我国数据中心数量达到了288万。因此无论是CDN还是数据中心，目前都面临着非常激烈的竞争，降本增效成为关注的焦点。
如何降低成本、增加效益？刘少凯归纳了四个方面：
第一 安全防护
第二 链路高效
第三 质量稳定
第四 智能运维
浩瀚深度成立于1994年，二十余年来一直致力于互联网流量采集、流量挖掘以及流量可视化和大数据应用范畴；目前主要应用于运营商和垂直行业客户，在DPI领域耕耘多年。目前，浩瀚深度已在运营商的关键链路出口（省网和IDC等出口）部署了大量专业的数据采集设备。
浩瀚深度通过DPI技术对链路流量进行高速采集、合成、挖掘，把这些流量转换为格式化的日志，传输至大数据平台，进而提供一体化的内容运营的解决方案。
刘少凯首先介绍了CDN和IDC数据中心出口的DPI的设备。DPI设备承载了浩瀚深度25年的技术积累，是目前最高密度的设备，单台支持处理的流量能达4.8T，在业界处于领先水平，且支持百G和十G的混合部署。刘少凯该将设备的核心功能点归纳为三大类：
第一大类就是业务识别，支持串接在关键的链路出口，对网络流量进行识别、分类，目前支持五千多种业务的识别。
第二大类是流量控制功能，能根据IP地址、端口、业务等多种维度进行流量控制或者封堵。
第三大类是流量的镜像和转发，根据特定的规则、特定的策略对流量进行转发。
目前浩瀚DPI设备已经广泛部署在运营商和CDN服务商出口，覆盖链路仅2018-2020年就增加300Tbps。流量采集之后，把高速链路中的流量进行采集、识别、合成，最后生成大量的格式化的数据，浩瀚深度的全国日增数据处理量达PB级。
除了DPI专用的设备，浩瀚深度也在大数据平台的PaaS层耕耘了十多年，自研了顺水云大数据平台。采集层除了支持对DPI数据的采集，同时支持实时数据、分布式数据的采集。浩瀚深度自研了高性能的传输软件，无论是压缩性能还是传输安全性、可靠性，都比开源软件有很大提升。
数据存储方面，浩瀚也在研发高密度存储设备，支持现在市面上主流的分布式文件存储、块存储等。计算层是重中之重，目前支持实时计算、离线运算以及交互式查询，关于交互式产品，浩瀚自研的索引机制能支持几十亿的数据快速查询。
除了核心的计算引擎，另外浩瀚还在机器学习、人工智能方面构建很多模型，如电信行业的数据模型。此外，浩瀚深度还配套了很多边缘系统，比如数据治理、元数据管理、数据血缘关系管理，以及自动化运维平台，包括对设备、服务器、交换机全域硬件状态检测。数据安全方面，浩瀚深度自研了大数据多租户安全管控，全面防护数据安全、计算资源滥用。
刘少凯总结说，浩瀚深度的DPI设备部署在数据中心和CDN出口，源源不断地对流量进行实时的采集和挖掘，形成格式化日志流量的数据，传输至大数据平台，进行CDN和数据中心的数据挖掘，最终形成上层的应用。
具体而言，刘少凯列举了四方面：
第一是客户安全管理，主要是数据中心和CDN客户行为合规（违规行为检测）管理。
第二是流量内容运营，主要针对内容，对CDN和数据中心内的流量进行全路径的可视化。
第三是质量感知溯源，对网络层面、专题质量层面的网络指标进行刻画，对低感质差情况进行挖掘发现，进而质差现象进行定位定界。
第四是是智能运维，对数据中心和CDN内硬件设备、软件进程等状态进行监控告警，提升整个系统的稳定性。
随后，刘少凯对上述四点展开进行了介绍：
01 客户安全管理
1）针对CDN或数据中心存在的黑宽带、私自违规连接情况，浩瀚深度能够通过DPI手段获取流量特征、用户行为特征，能够找出宽带的转租转售甚至违规资源些并做一键处置。
2）流量跨网络后，其传输的时延明显增加，质量下降。浩瀚深度能够帮助CDN和数据中心把资源调度尽可能靠近用户侧，以提升用户质量感知。对此，浩瀚深度的实时检测包括了数据中心的回源流量和流量吞吐异常情况挖掘，并及时进行告警。
3）鉴于上述违规行为，设备通过策略下发，能够对违规内容流量进行有效的控制。
02 流量内容运营
浩瀚深度DPI设备串接在CDN的出口，能够将所有通过CDN的流量、采集、挖掘，如此以来就能够从ICP、业务、流向、出口等维度进行流量可视化；并对中间承载的业务资源以及客户的网络资源进行资源空间测绘，把热点资源全部可视化呈现出来，为CDN和数据中心对资源的引入和资源的分布提供最优化的建议。
03 质量感知溯源
通过对底层网络指标的剖析挖掘，分为两大类，第一大类是对于网络通用的指标，比如客户端时延、服务端时延、首包时延、下载速率等进行监控和可视化。第二大类是对于专题的质量，针对大流量应用如视频的特有指标——画质、清晰度转换、卡顿等解析。进而找到低感、质差的情况并进行告警。第二步，在发现这些现象的同时能够进行精细化的定位，甄别是用户侧、链路侧还是资源侧出现了问题，之后把清单依据提交给数据中心或CDN做排查整顿，完成后又回到系统里面做这种闭环的监测，对比监测问题解决效果。
04 智能运维管理
智能化运维主要分为三部分，第一部分是说对数据中心甚至CDN全域内所有硬件、所有的设备进行状态的检测和资源利用率的监控。第二部分是作业平台监控，浩瀚深度正在构建自动化运维大平台，通过中心管控的方式实现一键化的下发命令、批量脚本、文件的上传和下载等操作。第三部分是流量的监控和核对，从CDN出口或者IDC出口，流量的进入、流量的采集、流量的合成、流量的处理、流量的输出，最后数据进入大数据平台进行每一个阶段的处理、挖掘、生成，每一个阶段都设置合理的监控点，实现对整个数据通路全流程的可视化。一旦某个问题出现的时候，监控平台就会出现断点拉平，很清楚地发现到底是哪个环节出现了问题，进而及时进行保障，提高整个系统的可靠性。
