基因测序性能提升5倍,华为云是怎么做到的?

2018-07-06 17:38:04 热度:
近期,华为云携手峰科计算(以下简称“峰科”)发布基于FPGA的基因加速云解决方案,该方案采用GATK(The Genome Analysis Toolkit)标准分析流程,将全基因组测序(WGS)性能提升5倍,从传统模式下的30个小时降低到5~6个小时,同时测序精度可达99.95%以上,在大幅缩短测序时间的同时实现TCO大幅降低。

 

 

01
 

基因测序数据分析加速面临的挑

 
 

· 基因测序分析流程BWT+GATK当前被业界广泛采纳,但采用此流程的传统测序方法需要消耗高额算力及存储资源,且耗时较长。

 

· 针对基因测序中高算力需求的smith-waterman,pair-hmm等算法处理,其具有计算并行性,不连续,非规则的存储访问,低bit操作等特性,计算依赖不规则区域的操作会对CPU消耗很大,性能难以提升。

 

02

华为云FPGA基因加速解决方案的优势

 
 

为了更好的解决基因测序行业面临的基因组分析标准流程不经济高效以及跨不同云和硬件(CPUs,FPGAs)加速实现的双重挑战,华为云和峰科计算强强联合,合作推出符合行业标准的GATK加速流程,通过对基因测序数据分析流程进行软、硬件联合优化实现端到端加速。

 

· 华为云提供业界领先的FPGA加速云服务平台,采用业界领先的Xilinx 16nm Virtex UltraScale+ VU9P FPGA,并针对基因场景推出32核CPU 224GB内存1*VU9P FPGA和64核CPU 448GB内存2*VU9P FPGA规格的实例,实现了GATK 软件处理流程和FPGA加速流程的完美结合,从而将加速效率提升3~5倍;

 

· 峰科采用GATK标准分析流程,精准性与GATK标准流程完全吻合,精度可达99.95%以上;

 

· 不修改GATK标准流程,可访问读取从原始测序数据到生成vcf文件整个过程中的中间数据,便于科研用户使用比对。

 

 

03

 华为云FPGA基因加速解决方案解析

 
 

华为云FPGA基因加速解决方案集成峰科的加速IP,为用户提供一种易于使用,经济实惠的基于FPGA的基因组分析流程加速服务,在该方案中,华为云配备了32核CPU,单个VU9P FPGA的实例。

 

华为云FPGA基因加速解决方案使用GATK最佳方案对种系突变和体细胞突变进行变异检测,将计算密集型算法如Smith-Waterman、PairHMM等确定为加速对象。每种算法都经过FPGA内核优化,并且实现CPU-FPGA协同执行和资源分配。


 

如图1所示,用户通过分析应用程序,把每个流程的数据传给华为云峰科加速平台,平台里的Kestrel运行时管理工具来管理CPU-FPGA协同执行和资源分配。利用多线程,I / O优化和扩展使用FPGA加速器,华为云FPGA基因加速服务的基因组学分析流程在保证精准度的情况下提供显著的加速。

 

 

与GATK 最佳使用流程相对称,典型的基因测序数据分析流程始于原始FASTQ序列两端读长(paired-end reads),进一步获取一组经过滤的变体,对其进行标记以供进一步分析。图2描述了华为云基因加速服务种系变异调用流水线的具体流程,中间面板指示开始的通常工作流程,上下分别显示华为云FPGA基因加速方案中的峰科加速流程和GATK最佳使用流程命令实现方式的工作流程。

 

 

图2 华为云峰科基因加速流程和GATK最佳使用流程对比

 

基于华为云FPGA加速服务,使用FPGA优化加速GATK流程,基因组分析流程可以实现3~5倍速度提升和99.95%以上的准确度。华为云FPGA基因加速解决方案最快基因组序列分析标准流程可在一天内完成5个全基因组或24个整体外显子组分析。

 

Performance comparison for GATK 3.8 WGS from Alignment to Variant Calling using Hoplotypecaller

:测试数据使用的是30X的WGS样本,碱基数量103G

责任编辑:玄文成

相关推荐

华为中兴等我国7企业再添IPTV标准话语权

11月5日,知情人士透露,在不久前举行的国际电联IPTV标准重要工作会议上,包括信产部电信研究院、电信、网通、华为、中兴、UT斯达康、上海贝尔阿尔卡特等在内的我国7个企业、机构又夺得多个重要的管理位置,掌握了制定IPTV国际标准的相当重要的话语权。争夺IPTV主导权据悉,10月16日至20日,国际电联IPTV焦点组(ITU-TFGIPTV)第二次会议在韩国釜山举行,来自全球的200名代表参加了这次会议。IPTV被认为是未来最重要的电信业务之一,但标准之争由来已久,不仅是电信运营商和广电运营商各执一词,去年年底,原来被看好的洋标准MEPG4被曝要收高额的专利费,连运营商也不放过,引起中国运营商和

专家称人民币升值无阻中国通信企业海外扩张

华为中兴在海外频获大订单,专家认为人民币升值4%对中国电信设备价格优势影响有限“几乎每一、两周,中国运营商会获取海外订单,承建网络建设等诸如此类的消息。其中以华为和中兴在海外的扩张速度令人惊叹。”针对近期华为、中兴在海外攻城略地的扩张消息电信分析人士指出,尽管到目前为止人民币升值并未对国内电信设备商的出口产生过大的影响,但随着人民币升值加速,包括中国电信设备商将抛弃过去依赖廉价取胜的竞争模式实现产业升级。华为中兴海外占半壁江山伴随着中国和世界电信业的发展浪潮,华为、中兴等电信设备商在海外持续扩张,海外市场已经占据其销售额的半壁江山。本月15日,华为集团宣布将帮助德国第三大固网运营商Versat

携手意大利电信,华为欧洲市场再突破

12月22日报道:华为技术有限公司("华为")日前宣布承建意大利电信(”TelecomItalia")在意大利国内的城域波分项目。截至目前,华为成为第一个入选意大利电信项目的中国通讯设备供应商。本次合作,是继华为成为英国电信(BT)21CN全网传输设备和多业务综合接入(MSAN)的供应商、独家中标荷兰皇家电信(KPN)CWDM/DWDM项目之后,再一次成功携手欧洲主流电信运营商。凭借完善的产品和解决方案,华为顺利通过了意大利电信专家的严格谨慎评估,赢得了合同。华为意大利代表处代表乔小平表示:”该项目是华为与意大利电信的首次合作,但我们相信华为在光网络领域的领先技术、丰富的设备成熟商用经验以及以

UT中兴华为大唐IPTV运维管理解决方案介绍与点评

UT斯达康奔流系统:在IPTV标志性市场获用方案介绍:UT斯达康IPTV整体解决方案——奔流(RollingStream)是一套开放的支持多业务、多服务终端的宽带多媒体业务平台,通过IP网络提供广播级视频质量的视频和各类互动业务,为运营商提供端到端的数据、语音、视频“Tripleplay”业务。奔流系统为IPTV业务提供了端到端的业务解决方案,包括内容制作、内容存储/加密、内容分发、内容播放、终端显示的各个方面,都可提供基于电信级的解决方案。同时,奔流也是一个开放的系统,可提供基于中间件形式的系统整合能力,成功的集成第三方的产品,诸如DRM系统、机顶盒、内容Encoder等。奔流采用了模块化的