网格计算与PC-FARM的使用37216

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,网格计算与PC-FARM的使用,王永刚,May 19,2003,主要内容,什么是网格计算,PC-FARM的结构,PC-FARM的使用方法,一.网格计算(Grid Computing),基本概念（Historical Consideration）,高性能计算,(High-Performance Computing),大规模科学问题，象天气预报、地形分析和生物制药等,存储和处理海量数据，象数据挖掘、图象处理和基因测序,高能物理的事例重建和模拟,高吞吐计算(High-throughput Computing),SMP（Symmetric Multi-Processor）,集群（Cluster）系统,与SMP比较,高性能集群,网格计算,继续,集群与SMP的性能比较,返回,网格计算的特点,网格计算是一种高性能计算,网格研究来源于美国联邦政府过去十年来资助的高性能计算科研项目。从1992年美国总统克林顿提出“信息高速公路”计划，开始了下一代互联网（NGI）研究计划。,异质网络,分布式（地理上）,21世纪的主流计算技术,Globus,网格与中国,网格技术被称为网络技术发展的,第三次浪潮,。网络技术的前两次浪潮（互联网和万维网），中国都没有参与世界上核心技术的创新工作。我国的计算机产业，在总体上落后于西方国家，一个重要原因是“文化大革命”使我们错过了参与发明网络的前两个浪潮。,从1969年至今，互联网发展至今已经34年了，出现了3180个技术标准文档（,RFC,）。我国科技界仅参与了一个技术标准文档的制定。那就是1996年3月（互联网第一个标准发明27年后，TCP/IP协议发明22年后）胡道元教授牵头制定的中文字符编码标准（RFC 1922）。,从1989年至今，万维网（Web）发展至今也近14年了，出现了46个技术标准，我国科技界参与制定的技术标准一个也没有。,根据Internet和Web发展的历史，网格的重要,技术标准,将在2004-2005出现。这个技术将主导2004-2020年的信息技术领域发展趋势。,网格是中国计算机技术发展的一个契机。,国内的网格项目,Vega Grid Project（ICT）,Scientific Data Grid(AC),Chinese University Grid(ME),Shandong University，1/12,HEP Data Grid(IHEP),国外的网格项目,美国政府从十年前就开始投资了，累计用于网格技术的基础研究经费已近五亿美元。,美国军方更为积极。美国国防部已在规划实施一个宏大的网格计划，叫作“全球信息网格”（,Global Information Grid,），预计在,2020,年完成。作为这个计划的一部分，美国海军和海军陆战队已先期启动一个,160,亿美元的八年项目，包括系统的研制、建设、维护和升级。,英国政府已决定投资,1,亿英镑于网格项目。,国外的网格项目（续）,国家计算机科学联盟,NPACI,（NSF),国家技术网格NTG,（NSF),分布,式,万亿次级计算设施DTF,（NSF）,IPG-Information Power Grid,（NASA）,ASCI Grid（DOE),Data Grid（EU）,二.PC-FARM的结构,PC-FARM的结构（续）,RAID盘，1TB，7/8的容量，安全（两个备用盘）,文件服务器与其他主机以千兆位端口连接，高吞吐量,UPS电源，5000VA，网络监控,Linux支持的摄像头，实时监控,用户必须通过hgfarm才能到达PC-FARM,三.PC-FARM的使用,网格计算至少需要具备三种基本功能,l,任务管理用户通过该功能向网格提交任务、为任务指定所需资源、删除任务并监测任务的运行状态。,l,任务调度用户提交的任务由该功能按照任务的类型、所需资源、可用资源等情况安排运行日程和策略。,l,资源管理确定并监测网格资源状况，收集任务运行时的资源占用数据。,使用,Sun ONE Grid Engine 5.3,就可以实现上述三个功能。,我们的PC-FARM还不是真正的网格计算，只能算作网格计算略低一级的形式集群计算。,Grid Engine的使用,条件,在hgfarm上有帐号和HOME目录,启动QMON,在你所在的机器（比如hepg15）输入以下命令：,ssh hgfarm qmon,1.启动QMON主界面,每个按钮的说明（1）,转到作业控制窗口,每个按钮的说明（2）,每个按钮的说明（3）,2.提交作业,脚本示例,运行广延大气簇射模拟程序corsika,目录/home/wangyg/corsika,可执行文件为qgsjet（不能直接提交）,脚本run01.sh:,1#!/bin/bash,2cd/corsika,3./qgsjet./inputs001,4,书写SHELL脚本,不要有后台运行符号（&）,末尾最好有一空白行,扩展的选项,1#!/bin/bash,#$-S/bin/bash,3#$-cwd/corsika,4#$-N run01,5cd/corsika,6./qgsjet高能物理研究室计算机系统使用指南高能物理研究室PC-FARM使用指南,