TeraGrid的科学网关(2010年)(XSEDE前身)

  • A+
所属分类:工具文档 科研助手

2001年8月,美国国家科学基金会(National Science Foundation,NSF)启动TeraGrid 项目,旨在构建全球范围最广、功能最全面、支持开放式科学研究的分布式网格计算体系。TeraGrid已经成为美国最重要的公共高端计算资源集,也是全球范围内最具代表性的科学研究超级计算网格之一。2005年NSF启动了“TeraGrid科学网关”(TeraGrid Science Gateways,以下简称科学网关)项目,旨在提供更具易用性的高端计算应用门户,克服普通科研人员因缺乏使用高端计算资源的知识与技能导致使用高端计算资源存在障碍。

科学网关是作为学科专业化网络基础设施服务提供方,面向某学科领域的计算环境,提供一个有效和高效的机制,向更大范围的用户团体提供专业化、定制化服务。

TeraGrid 主要通过科学网关对外提供计算服务,为用户提供灵活的资源选择机制,实现资源的合理分配与使用。目前, TeraGrid已开通34个科学网关, 联通23个计算资源,总计算资源超过2000T。2011年,蓝水千万亿次机将投入应用并加入网格。已有的34个科学网关覆盖天文学、地球科学、分子生物学21个学科领域,服务的主要对象是科研人员、教育者和大学学生,也包括K-12学生(基础教育)、一般公众和政策制定者。科学网关为这些用户提供仿真、协作、教育等多种集成服务。

TeraGrid的科学网关列表 (2010.4.14)

科学网关名称学科
Open Science Grid先进科学计算
Massive Pulsar Surveys using the Arecibo L-band Feed Array (ALFA)天文学
Center for Multiscale Modeling of Atmospheric Processes天文学
Community Climate System Model (CCSM) TeraGrid Gateway天文学
High Resolution Daily Temperature and Precipitation Data for the Northeast United States天文学
Linked Environments for Atmospheric Discovery天文学
Biodrugscore: A portal for customized scoring and ranking of molecules docked to the human proteome生物化学和分子结构与功能
Chemical Informatics and Cyberinfrastructure Collaboratory生物化学和分子结构与功能
High-Resolution Modeling of Hydrodynamic Experiments with UltraScan生物物理
Computational Chemistry Grid化学
Science Gateway for Diffraction Facilities, Data and Methods化学
Cyberinfrastructure for End-to-End Environmental Exploration Portal地球科学
GEON(GEOsciences Network)地球科学
Purdue Environmental Data Portal地球科学
Network for Earthquake Engineering Simulation地球灾害减灾
Network for Computational Nanotechnology and nanoHUB新兴技术
Dark Energy Survey Data Management河外天文学与宇宙学
Indiana University Centralized Life Sciences Data遗传学与核酸
TeraGrid Geographic Information Science Gateway地理学与区域科学
CIG Science Gateway for the Geodynamics Community地球物理
QuakeSim地球物理
The Earth System Grid全球大气研究
National Biomedical Computation Resource集成生物学与神经科学
Developing Social Informatics Data Grid (SIDGrid)语言、认知与社会行为
Neutron Science TeraGrid Gateway材料研究
VLab - Virtual Laboratory for Earth and Planetary Materials材料研究
Biology and Biomedicine Science Gateway分子生物学
Open Life Sciences Gateway分子生物学
ROBETTA: Automated Prediction of Protein Structure and Interactions分子生物学
SCEC Earthworks Project地震学
Asteroseismic Modeling Portal恒星天文学与天体物理学
CIPRES Portal for inference of large phylogenetic trees系统生物学与人口生物学
TeraDRE - Distributed Rendering Environment可视化、图形学与图像处理
TeraGrid Visualization Gateway可视化、图形学与图像处理

表2 TeraGrid科学网关典型开发工具与应用软件

用途开发工具与应用软件
云计算Nimbus; Eucalyptus
门户框架Gridsphere; OGCE; Clarens; SimpleGrid; Hub Zero; Django
门户组件开发RENCI's Science Desktop; Gridder
应用托管P-GRADE; Application Hosting Environment (AHE).
验证、授权与使用GridShib SAML Tools; Portal-based User Registration System (PURSe); Grid Account Management Architecture (GAMA)
Web服务Opal; gRAVI; Soaplab2, Soaplab; QBETS
作业提交、监测与审计“Common TeraGrid Software Stack” (CTSS) client toolkit; Qstat monitor; Client desktop grid job submission framework; SAGA
工作流Java COG; Kepler; XBaya
界面增强Google Gadgets

TeraGrid科学网关的经验启示

1 ) 集成友好的前端软件平台,用户使用方便可靠

科学网关帮助用户通过浏览器启动应用程序并及时获得结果,整个过程完全不需要用户了解底层计算软件、硬件基础架构、超级计算编程方面的专业知识,改变了传统高性能计算服务中用户需要编写命令以连接超级计算机或访问资源模式。由于传统模式对用户的软件编程能力有较高要求,使用模式的转变,为科研人员省下了学习特定计算平台知识的时间,用户无需再耗费精力开发符合自己需求的界面和工具,而主要专注于科学问题本身。

例如,“开放式生命科学网关”(Open Life Science Gateway,OLSGW)通过一个门户集成了一组生命信息学的应用和数据集合,使得生命科学研究人员可以轻松访问TeraGrid的资源,并通过GRAM(网格任务管理工具)提交基因组相关的分析项目,以及通过GridFTP管理PB 级的数据集。如果没有GRAM, 用户将不得不应付Tera Grid资源的多种不同机制以提交和监测任务,用户使用显得复杂、成本高、容易出错。相关统计显示,2008年4月至10月间,用户通过OLSGW向TeraGrid提交了15,000份作业。

2)学科针对性强,为科研人员提供有效集成服务

不同学科领域的科学家其需求差异很大,但同一学科领域的科研人员对计算资源的需求却有很大的共性。因此,TeraGrid项目选择针对不同学科领域建设不同的科学网关。一个科学网关通常只面向某一特定学科领域,配备有一个超级计算核心团队,这个核心团队负责为该学科领域的科研用户团体开发和部署所需的应用。

例如,普渡大学的NanoHUB 科学网关(nanoHUB.org)在2007 年9 月到2008 年8 月期间, 为172个国家的77,000多名用户提供了服务,其中约6,300名用户通过NanoHUB完成了34万多次仿真。除了提供在线仿真, NanoHUB还为用户提供教程、研讨会与协作环境,研究人员可以通过Web2.0技术对NanoHUB提供的内容进行评分和评论,也可以上载内容。

3)支持共享与协作,为教育培训提供有力支持

科学网关为用户创造了基于Web2.0技术的共享环境,支持不同科研团队之间的协作、用户之间的互动与协作,用户可以使用他人已创建的服务,也可以为这些服务做出自己的贡献。科学网关还为学生提供一系列学习科学计算知识与技能的机会。

例如,2007年,来自美国10所大学的学生利用LEAD科学网关开展协作,在“国家天气挑战赛”中取得优异成绩 。2007~2008学年,分布在美国的18 所研究机构在40多项本科生和研究生课程中使用了nanoHUB科学网关的工具。如果没有nanoHUB,通常只有正式的研究人员才能使用到这些工具。

4)科研信息化平台建设纳入领域科学家

TeraGrid科学网关的建设经验表明,领域科学家的参加对于网络平台的建设和实现其影响力最大化十分重要,核心软件与服务的设计和开发需要网络基础设施专家与学科领域科学家合作才能完成。科学网关的建设重点是采集和部署建设模块,包括门户框架、安全工具、共性服务、可重用的工作流引擎、应用打包与部署工具、目录服务等。合理的方法是向领域科学家提供工具包、培训文档、技术支持,这样可帮助他们快速建成并启用科学网关。

weinxin
我的微信公共号
我的微信公招扫一扫

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: