返回主站|会员中心|保存桌面|手机浏览

《中国教育网络》杂志

杂志等级
    期刊级别:国家级期刊 收录期刊:万方收录(中) 上海图书馆馆藏 国家图书馆馆藏 知网收录(中) 维普收录(中)
本刊往期
站内搜索
 
友情链接
  • 暂无链接
首页 > 杂志论文 > 中国传媒大学:艺术也需要高性能计算
杂志文章正文
中国传媒大学:艺术也需要高性能计算
发布时间:2018-12-19        浏览次数:4        返回列表

■文/高东鹏

作为信息领域的前沿技术,高性能计算技术在保障国家安全、促进科技发展等方面具有直接的推动作用,是衡量一个国家综合实力的重要标志之一。为了满足我校不同学科、领域对高性能计算平台的迫切需求,紧跟时代步伐,促进我校高性能计算技术及其应用的发展,中国传媒大学于2006年6月投资兴建了高性能计算中心,为我校开展大规模电磁仿真计算、数字内容管理、视频图像检索、数字高清视频压缩编码、动画渲染以及游戏设计等项目的研究提供了强有力的支持。

中心设备

目前高性能计算中心共拥有3套并行集群系统,包括“十五”期间我校的“211工程”实验室重点建设项目——中国传媒大学高性能计算平台,和另外两个自主设计建设的小型并行集群系统。

中国传媒大学高性能计算平台包括48个计算节点。其中每个节点配置2颗IntelEMT64 3.8 GHz/2MB至强处理器,4 GBDDR-2 ECC SDRAM内存,l块73GB SCSI硬盘,双千兆以太网接口,1个MyrinetM3F-PCIXD-2接口卡。另外,系统还配置了1个前端节点,4个I/O节点,以及基于EMC CX300光纤通道的磁盘阵列和BrocadeSW200E 16端口4Gb的光纤通道交换机,构建了SAN结构的集中存储系统,总容量为1.5TB,带宽达680MB/s,每秒可实现50,000次I/O。高性能计算平台的系统理论峰值浮点计算能力为729.6 Gflops,经过Linpack测试,实际计算能力为537.4 Cflops,并行效率537.4/729.6×100= 73.66%。

为了满足我校不同学科师生的科研和教学所用,高性能计算平台上安装了完整的软件开发工具和集群管理软件,包括操作系统、作业调度管理软件、集群系统监控软件、并行开发库以及用户并行应用程序等。该平台采用Red Hat Enterprise Linux4 for EMT-64版本,内核版本为Linux 2.6.9-34.ELsmp,作为支撑平台运行的操作系统,采用PBS作为集群系统的作业管理软件,以及NPACI Rocks 4.2作为集群系统的管理软件。此外,平台还安装了英特尔全套的软件开发工具,包括C/C++、Fortran以及VTune等可视化性能分析器、性能函数库、集群工具包和MPI函数库等。

建设另外两套小型化高性能计算集群的主要目的是为了解决当前数字媒体应用中的一些特殊技术需求。早在2007年初,中心科研人员在进行高性能计算平台的用户和技术统计时,就发现了数字媒体应用领域数据海量和I/O频繁的技术特点,因此有针对性的和校内该领域的老师进行深入的讨论,并结合我校的科研实际,从硬件、网络、软件和应用等多个层面人手,对通用并行计算集群系统进行重新设计,开发出了面向媒体应用需求的小型化高性能计算平台。如图1所示,这两套系统都配有32个处理器,128C内存,安装了我中心自主开发的并行计算集群系统管理软件COMS,峰值浮点运算能力达到2000亿次/秒,具有强大的计算能力和I,0能力,能够有效的满足校内教师在数字媒体领域的科研和教学之用,并且为并行计算技术的应用及相关行业提供了一个开箱即用的高性能计算解决方案。

高性能计算应用简介

目前,我校高性能计算中心主要是为全校教师、研究生的科研提供服务,在此平台上部署的应用大部分也都是本校课题组围绕学校特色和学科特点开发的一些专业应用,主要包括大规模电磁仿真计算、海量图像基于内容的并行检索技术、基于对象技术的内容管理平台、高清视频编解码技术以及动画渲染等。

1.大规模电磁仿真计算

目前,在我校高性能计算平台上运行的大规模电磁仿真计算软件是由我校特聘教授余文华博士率领高性能计算中心研发团队,联合美国宾夕法尼亚州立大学电磁通讯实验室历经4年多的时间共同研发的。

该软件在IBM BlueGene/L巨型计算机上测试时,创造了同时使用4000台计算机且具有百分之九十并行效率的世界纪录,并且将该纪录一直保持到今天。而且,该软件所使用的多项技术已经在国际顶级期刊上发表,受到了世界范围内众多学者的关注,在学术界也颇具影响。这项工作还受到了国际并行计算技术行业的广泛关注。美国微软总公司邀请余文华和鲁永泉博士为微软公司的并行操作系统开发一个开源的并行仿真软件,该软件已经和微软公司的Windows Server 2008 HPC Package并行操作系统一起于2007年底向全世界发布。这是微软公司在并行电磁仿真方面选择的唯一合作伙伴。

2.海量图像基于内容的并行检索技术研发

高性能计算的快速发展,为解决媒体资产管理系统中图像的快速查询提供了一个很好的解决方案。巾心科研人员利用高性能计算中心现有的计算平台,在传统基于内容图像检索算法基础上引入并行技术,实现了图像特征提取和相似度比较算法的并行化,并在此基础上成功开发了一个完整的基于内容的图像检索原型系统。一方面是为了掌握基于内容图像检索并行算法的加速比、并行效率等性能指标,另一方面是为了揭示存储系统、I/O配置和交换系统等硬件配置对并行算法性能的影响。

3.基于对象技术的内容管理平台

随着数字媒体相关技术的迅速发展,逐渐形成了海量规模的数字媒体内容。这些数字内容将为社会各层面消费者提供娱乐、资讯、生活等不同领域的个性化服务,构成了人类社会进入二十一世纪以来增值业务最大的潜在市场。但是,如何灵活、高效的实现数据模型,如何实现完善的访问控制管理,如何架构系统的拓扑以完成数据迁移、缓存,以及如何支持PB级的存储和上千的并发用户,是数字媒体资源管理中需要重点考虑的问题。尤其需要考虑到未来的扩展能力,如何在尽可能保护用户现有投资的情况下,提供无限的可扩展空间。通过深入研究,中心研究人员提出了一种适合于广播电视行业媒体资产管理的FEDORA2MAM架构,采用数字对象概念作为媒体资产管理的数据模型,为实现媒体资源(数据和元数据)和对资源的操作(服务)的聚合提供了一个框架。这些媒体资源和对资源的操作可以是分布式的,也可以通过UR I跨平台引用。在FEDORA2MAM架构基础上,实现了一个灵活、可扩展的基于对象的媒体资产管理平台。

4.高清视频编解码技术的研发

按照国家广电总局的规划,我国将于2008年全面推广数字高清电视的地面传输。数字高清电视的原始视频数据量非常大,例如SMPIE274M数字电视标准中,采用10比特量化时亮度tn-号的码率为74251vn)ps,2个色差信号的码率为7425Mbps,总的码率达到1485Mbps。为了能在一个6MHz频道带宽内传输高达1.485Ghps高清数字电视信号,必须采用压缩比很高的视频压缩算法。在实现基于MPEG-4以及H.264视频压缩算法的时候,压缩编码的数据运算量通常都非常大。没有经过深入优化的H.264 CIF编码大约需要50,000万到1 000,000万指令周期。

显然,目前单处理器的计算能力远不能满足视频编码的需求,而基于硬件的编码方式又大都是面向专门的应用,灵活性较差。因此,基于分布式集群系统采取并行方式编码视频序列成为一种比较好的选择。高性能计算中心在高清视频信号的编解码上也投入相当的精力,主要研究在计算机集群和高速网络互联的体系结构下,如何提高视频比特流的编码效率。

5.动画渲染

针对中国传媒大学的学科设置特点,尤其是为了给动画学院相关专业的师生提供一个动手实践的良好机会,中心科研人员和动画学院的教师一起在高性能计算平台上部署了各种专业渲染器,由中心人员负责渲染集群的日常维护,动画学院的老师负责教授学生们动画设计与各种渲染平台的使用。有了这样一个渲染平台,动画学院的教师和研究生可以用最快的时间看到作品的质量,如果需要修改也不会浪费太多的时间,这样整个作品的渲染和产出都会很轻松的实现,同时不会影响到集群里其他作业的进行。

管理和使用机制

和国内众多高校一样,中国传媒大学的高性能计算平台仅供本校教师和硕士、博士研究生进行科研和教学相关的活动之用。但是,在具体的管理和使用上,为了最大程度的保证每一位师生都能够机会均等使用现有资源,高性能计算中心走出了一条管理规范化、应用标准化以及操作简易化的道路,从技术和制度上双重保证学校在高性能中心上的投资能够发挥最大效益,让更多的毕业生尽可能多地掌握相关的技术与技能,为社会输送更多的优秀毕业生。

1.管理规范化

高性能计算中心规范化管理的目标就是在学校内为科研教学尽可能均衡的提供计算资源、促进教学科研,使学校的教育和科研都能够与时俱进,适应社会对高新技术发展的要求。

在高性能计算平台的使用上,中心坚持“个人申请——导师把关——中心审批”的原则。在校园网上有高性能计算中心的主页,学生可以从上面下载相关的表格,经导师签字并报中心批准后,即可登录中心的高性能计算平台。中心为终端用户提供了Web和命令行两种形式的使用方式,学生们可根据自己的实际情况选择不同的作业递交方式。

此外,为了确保广大师生都能够规范化的使用学校公共的高性能计算平台资源,中心1二作人员每年都会定期的为全校师生举行相关的专业和使用培训,从而确保终端用户能够正确规范的使用学校的高性能计算平台。

2.应用标准化

如何能够保证各个不同研究领域的并行应用能够在一个共同的框架下为注册的终端用户提供服务是中国传媒大学高性能计算中心的重要研究成果之一。为了确保不同领域老师们的应用都能够公平开放的为全校师生服务,中心研发了具有自主知识产权的软件产品——集群优化管理系统COMS(Cluster Optimization&Management System)。COMS为各种专业应用提供了标准化的接口,各个研究领域内的老师们只需将自己的应用修改符合接口的定义,就可以很快地集成到学校的高性能计算平台上供全校师生使用服务,而且应用服务的管理员还能够通过COMS系统可视化的管理和监控自己开发的专业应用在某一时间段内的使用情况。

3.操作简易化

中心为终端用户提供了Web和命令行两种不同的登录方式。针对具有一定linux基础的用户,中心允许他们以命令行的方式登录系统,并递交作业。而对于那些没有更多llnux基础的用户,中心研发的COMS系统提供了图形化的管理和使用界面,包括系统监控、作业管理、系统管理、文件管理以及资源调度和使用统计等。即使没有一点hnux和系统知识,终端用户照样能够完成作业的递交、监控和查看等操作。借助于COMS系统,终端用户可以将更多的精力集中于自己的科研领域,而不需花费更多的时间来了解和熟悉linux或者脚本编程,大大减轻了终端用户的负担,有效降低了集群的使用门槛,为普及高性能计算技术和应用奠定了基础。

联系产业

中国传媒大学高性能计算中心作为一个科研学术机构,不仅与国内众多的兄弟单位保持着紧密的合作关系,而且始终与业界保持着良好的沟通和联系。一方面,中心积极开展各种形式的学术交流活动,另一方面也积极强化院校或者行业合作,中心先后和中科院空间中心、中国地震局地球物理研究所等单位就高性能计算以及网格计算等项目开展合作,同时中心还作为会员单位加入了中国件行业会数学软件分会,保持和业界的充分联系。

从中心2006年6月成立至今,高性能计算平台的使用率还是非常高的。如果以时间来计算的话,从2006年6月到2010年3月份,高性能计算平台的使用率能达到86%。主要的学科应用还是大规模电磁仿真计算,因为我们的仿真软件做的相对来说还是比较成熟的。其次是基于内容的海量图像数据的并行检索,因为有北京市自然科学基金的支持,我们对这方面的研究一直比较重视。最后,为了公平保证大家对集群硬件资源的使用,我们对于一般的申请用户只开放8个核,也就是说并行作业最多只能同时开8个进程,而且还有作业运行最多不能超过8个小时的限制。但是,为了不妨碍某些老师完成大项目的需要,只要终端用户提出申请,我们可以为其开放最多整个集群的所有硬件资源共96个运算核,并且可以根据实际情况设定时间限制。

(作者单位为中国传媒大学高性能计算中心)