中科院合肥分院浪潮集群使用规范(简要说明)

单击此处编辑母版标题样式,*,Inspur group,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,中国科学院合肥分院,浪潮集群使用规范,Inspur group,集群的软硬件配置,Inspur group,硬件信息,管理节点,NF5220*1 2*146G SAS raid1,登录节点,NF5220*1 2*146G SAS raid1,I/O,节点,NF5220*1 2*146G SAS raid1,网格节点,NF5220*2 5*300G SAS raid5,计算节点,NX7140N*112 64G SSD,胖节点,NF560D2*2 1*146G SAS,存储,AS400 8*1T raid5,（,1,热备盘）,管理网络,H3C,千兆以太网,计算网络,Qlogic 9120,软件信息,操作系统,RedHat AS 5 update3,（内核,2.6.18-128,）,编译器,/,数学库,Intel C+/Fortran,编译器,/Intel MKL,数学核心库,应用软件,Gaussian vasp Wien2k,MPI,实现,intel mpi 3.1,作业调度,TSJM/PBS,集群管理,浪潮天梭监管软件,2.1,集群物理拓扑图,Inspur group,图例：,图例：,Inspur group,内容提要,账号的申请和使用,登录、退出系统连接,属主目录使用,计算任务投放,存储空间使用,软件安装及使用规范,关机和启动,维护人员联系方式,一：账号的申请和使用,1.,严禁使用集群账号及计算、存储资源进行与账号所属项目无关的任何活动和行为，违者必究并将视影响、损失轻重予以锁闭账号等处理。,2.主机资源申请，联系系统管理员进行申请。管理员联系方式见本指南维护人员联系方式。,3.建议避免公用账号，避免项目移交的时候数据混乱。,4.人员发生调动时，请调动人员做好数据移交，并及时通知管理员申请权限改动。,5.临时用户项目结束或阶段性完成时，请及时通知管理员清理/锁闭/注销临时账号及项目组成员账号。,6.注销账号时请整理好用此账号建立的所有数据，做好移交及备份清理工作，并至少提前一天通知管理员。,7.数据和程序（非公用程序）文件一律存放于自己的属主目录下，计算临时文件存放于工作目录下（lustre），计算临时文件不得存放于自己的属主目录下。,8.个人账号只限个人使用，严禁将帐号和密码泄露给外单位和项目组外人员，公共组账号由管理员负责控制和使用分发。,9.密码应定期（三个月）更换，建议8位以上并注意加强密码复杂度。,Inspur group,二：登录、退出系统连接,1.登录方式,SSH：,缺省提供，该登录方式有一定强度的加密安全保证,软件可以使用Putty等,2.文件上传与下载,SFTP：,缺省提供，暂不提供FTP方式,软件可以使用SecureFX,、,WinSCP等,3.登录系统后的必要操作,使用mail命令，检查系统发送给用户的通知和信息,在属主目录下使用命令 du-kh|sort-n，查看异常或较大的文件，并做相应的清理,Inspur group,二：登录、退出系统连接,4.长时间误操作，请结束访问，避免占用系统资源,5.结束系统访问必要操作,非停电、断网等意外设备故障导致，严禁在终端上直接关闭访问窗口或直接关闭终端电源实现结束系统访问。,SSH访问必需主动使用exit命令一到多次确保最终结束连接。,Inspur group,登陆天梭集群系统,ssh-l(your count),第一次登陆设置环境变量,vi/.bashrc,source/opt/intel/impi/3.1/bin64/mpivars.sh,h,保存退出后,source/.bashrc,使用命令,du-kh|sort-n,，查看异常或较大的文件,11/28/2024,Inspur group,二：登录、退出系统连接,三：属主目录使用,1.属主目录为登录后缺省进入的目录：,/home/,2.属主目录用于系统存放管理用户的登陆和所使用软件配置文件，严禁用户随意存放执行程序的临时文件和非相关的文件，避免占用和耗费宝贵的系统存储资源，影响登陆连接服务。每次登陆后在属主目录下使用命令 du-kh|sort n主动检查。异常或较大的文件并作相应清理。,3.属主目录可以安装个人所需软件，如果软件所占空间较大，请联系管理员，修改属主目录文件配额。,Inspur group,四：计算任务投放,1.,不论任务有多紧急，请务必先检测提交程序的正确性以及资源占用的合理适度，通过小批量测试数据预估占用CPU、内存和存储资源，强烈建议进行代码优化以减少CPU、内存、I/O资源占用，及时释放申请的内存，优化文件目录读写访问等I/O功能，避免资源和计算时间的浪费。,2.大规模资源占用(占用实际内存超过1/4)或紧急任务时务必先联系管理员协调。,3.计算任务提交后，应注意定时查看自己任务状态，当需要杀死自己进程或删除任务时，以用qdel命令,如果无法删除必要时联系主机组协助。,4.应及时清除临时文件和计算中程序设计生成的监控跟踪记录文件。临时性文件存放不要超过三个月。重要数据应打包或再压缩存放。,5.不能在属主目录（登陆目录）下存放任务临时文件，必须在工作目（lustre）录中存放临时文件。,6.不能在登陆节点上直接运行任务，只能在登陆节点做简单的 vi编辑、查看、管理自己的数据以及程序。,7.刀片节点单个任务不能超过24GB内存。大内存任务投放至fuque上。,Inspur group,PBS基本组件,p,bs command:用于提交、监视、修改和删除作业。,p,bs server:提供基本的批处理服务，例如接收/创建一个批处理作业，管理维护作业队列，管理输出结果等。,p,bs mom:是一个守护进程，从pbs server处接收作业后放入其执行队列中等待执行。,s,cheduler(maui):对用户提交的,作业进行调度,Inspur group,四：计算任务投放,Torque应该如何使用?,熟悉Torque提供的几个命令,编写作业提交脚本,了解使用注意事项,PBS命令,qsub 作业提交脚本,qstat 参数,qdel 作业号,Inspur group,四：计算任务投放,PBS命令详解,提交作业的命令,qsub 作业提交脚本,此命令执行后,会给出个作业号,查询作业命令,qstat 参数,其中参数可为:,-q 列出系统队列信息,-Q：列出队列的一些限制信息,-an：列出队列中的所有作业,-r：列出正在运行的作业,-f jobid：列出指定作业在信息,-Qf queue：列出指定队列的所有信息,-B：列出PBS服务器的相关信息,Inspur group,四：计算任务投放,PBS命令详解,作业删除命令,qdel 作业号,其中作业号为qsub提交后系统所给出的一个号码,注意事项,1、非root用户只能查看、删除自己提交的作业,2、在提交作业时一定要根据自己的使用的机器数估算内存，把其写进作业提交脚本里。,3、root用户无法提交作业,4、检查PBS脚本是否正确，任务投放到testque上,Inspur group,四：计算任务投放,Inspur group,四：计算任务投放,作业脚本的编写,基本参数,#!/bin/bash,#PBS-,d,/,lustre,/,ISSP2,/,dyliu,/,workdir,#PBS-o/,lustre,/,ISSP2,/,dyliu,/output,#PBS-e/,lustre,/,ISSP2,/,dyliu,/error,#PBS-l nodes=2:ppn=,8,#PBS-l walltime=240:00:00,#PBS-l mem=4gb,#PBS-q allque,Inspur group,四：计算任务投放,配置,MPI环境,(VASP),ulimit-s unlimited,source/opt/intel/Compiler/11.1/046/bin/intel64/iccvars_intel64.sh,source/opt/intel/Compiler/11.1/046/bin/intel64/ifortvars_intel64.sh,source/opt/intel/impi/3.1/bin64/mpivars.sh,Inspur group,四：计算任务投放,配置,MPI环境,(VASP),NP=cat$PBS_NODEFILE|wc-l,NN=cat$PBS_NODEFILE|sort|uniq|tee/tmp/nodes.$|wc-l,cat$PBS_NODEFILE /tmp/nodes.$,sed-i s/$/-ib:8/tmp/nodes.$,mpdboot-n$NN-f/tmp/nodes.$-r ssh,mpiexec-genv I_MPI_DEVICE rdma-machinefile/tmp/nodes.$-n$NP$EXEC,mpdallexit,rm-f/tmp/nodes.$,Inspur group,四：计算任务投放,配置,环境,wien2k,alias lsi=ls-aslp*.in*,alias lso=ls-aslp*.ou*,alias lsd=ls-aslp*.def,alias lsc=ls-aslp*.cl*,alias lss=ls-aslp*.sc*,alias lse=ls-aslp*.error,alias pslapw=ps-ef|grep lapw,alias cdw=cd$curdir,export EDITOR=xterm-e vi,export SCRATCH=$curdir,Inspur group,四：计算任务投放,配置,环境,wien2k,export WIENROOT=/opt/issp2/wien2k,export W2WEB_CASE_BASEDIR=$curdir,export STRUCTEDIT_PATH=$WIENROOT/SRC_structeditor/bin,export PDFREADER=acroread,export PATH=$PATH:$WIENROOT:$STRUCTEDIT_PATH:.,export OCTAVE_EXEC_PATH=$PATH:,export OCTAVE_PATH=$STRUCTEDIT_PATH:,export PATH=$PATH:$WIENROOT:.,ulimit-s unlimited,alias octave=octave-p$OCTAVE_PATH,Inspur group,四：计算任务投放,配置,环境,wien2k,EXEC=/opt/issp2/wien2k/runsp_lapw-ec 0.00001-cc 0.00001-i 400-p,cat$PBS_NODEFILE nodelist.$,sed-i s/$/-ib/nodelist.$,echo#.machines,echo granularity:1 .machines,echo lapw0:sed-n 1p nodelist.$.machines,for i in cat nodelist.$,do,echo 1:$i .machines,done,echo extrafine:1 .machines,rm-f nodelist.$,$EXEC,Inspur group,四：计算任务投放,配置,环境,Gaussian,export GAUSS_EXEDIR=/opt/issp2/g03,export g03root=/opt/issp2/,export PATH=/opt/issp2/g03:/opt/issp2/g03/linda7.2/opteron-linux-I8/bin:$PATH,export GAUSS_SCRD