简单组建linu集群及并行编译vasp过程

简单组建 linux 集群及并行编译 vasp 过程 我们现在主要是用做高性能计算，下面就是我的集群的组建过程。 集群的硬件环境：做一个集群，节点机器的硬件最好相同，这样计算的效率就会 高很多，同时组建集群也相对容易。以下是我的机器的配置情况（全新，组装） 另外要说的是，我们的节点机没有配置显示器，全部工作由服务器完成。连接就 是通过交换机连接，和一般局域网连接相同。服务器：P4 3.2,内存2G，硬盘:160G，显示器，网卡：2个千兆网卡（money：8 千多）节点（10台）： P4 3.2， 内存： 2 G， 硬盘： 80G ， 网卡：千兆网卡 （5 千多每台）华为24口千兆交换机（4千多）集群软件环境：建一个简单的集群，其实并不难，主要配置nis, nfs, rsh, mpi 就好了。推荐大家看一本书微机集群组建、优化和管理车静光著，机械工业 出版社。我的集群，采用suse9.3，操作系统其实也很重要，这次试了很多操作 系统， redhat9， rhas4 无法识别网卡， rocks 无法安装，如果硬件没有什么问题， 建议大家可以试下 rockscluster 这个集群系统， rocks 集操作系统和集群于一 体，安装完成并行环境就已经建立，而且还配备了 pbs 管理软件，非常简单，容 易上手，只是我的硬件不太兼容，本来是想装rocks的，无奈，只有自己动手了。 Suse配置nis，nfs非常简单，因为suse强大的yast，就像window 一样方便， 只要鼠标轻点几下就 ok。1Linux 系统的安装， suse 安装也非常简单，在此不想详细讲太多，主要是在 分区的时候要注意，最要自己手动分区，对于服务器来说，最好能分一个独立的 分区/home，因为节点机器要通过nfs共享服务器的/home。注意的是一下几个软 件包一定要安装 nfs（nfsutils）， nis（ypbind）， rsh（rshserver）。 2基本的网络配置（通过yast的网卡配置）服务器的： 192.168.1.253hostname： node0 域名： node0.cluster节点机器： 192.168.1192.168.1.10hostname： node1node10 域名：node*.cluser掩码： 255.255.255.03. 服务器的配置3.1. Nfs 设置NFS （NetWork File System）是一种使用比较多的网络文件系统，它以它的安装 容易，使用方便得到很多Linux爱好者的使用。在使用NFS时，我们把需要共享 的分区或者文件按照一定的规范共享出去，想使用这个资源的机器使用 mount 命令把共享的资源加载到自己的系统上，然后就可以像使用自己的本地文件系统 一样方便。进入图形 yas t net work nfs server，之后开始配置， 点击 add direc to ry： 之后设置两个共享目录，/home,/usr/local/，然后加入共享这两个目录的主机 通配符 192.168.1.0/255.255.255.0 rw,root_squash, sync。其实配置 nfs 就 是修改/etc/exports文件，你也可以直接修改成/home/ 192.168.1.1/255.255.255.0（rw,root_squash,sync）/usr/local 192.168.1.1/255.255.255.0（rw,root_squash,sync） Ok， NFS 就这样配置好了。3.2 NIS的配置NIS(Network Information Service)是实现网络上各Linux机器之间的重 要数据分享。这些数据包括用户帐号，密码，组文件，主机文件，等等。在集群 中我们要做到单一的镜象就需要NIS的一些服务。比如我们不需要在每个节点上 建立各自的用户，而是在mas ter上建立一个用户以后，就同时在其它的节点上 能够访问到这个用户。下面是我的配置过程：Yas t net work nis servercrea te nis mas ter server 之后填入 nis domain name,就是域名，我们填nodeO.Cluster,之后一些信息一般选默认就可以了， 之后要配置hosts：netmask：255.255.255.255 network：127.0.0.1 netmask：255.255.0.0 network：192.168.0.0 ok,之后完成，进入/var/yp目录，执行make就最后完成nis的配置。注意的是 如果你新建用户了，要注意执行make命令更新nis信息。最后启动网络服务yast network-start service进入设置，开启shell，login 两项服务。3.3 rsh的配置注意修改这两个文件/etc/hosts /etc/hosts.equiv所建立用户的.rhosts,这 个文件和/hos ts.equiv文件内容设置相同。Hosts的文件信息，最后修改成：127.0.0.1 localhost192.168.1.253 node0.cluster node0192.168.1.1 node1.cluster node1192.168.1.10 node10.cluster node10Hosts.equiv:Node0Node1Node10 把所有节点的信息输入到这两个文件，等节点机器的配置好后，你就可以用命令 rlogin node *，登陆节点机器，这样就可以对节点机器进行操作了。 节点机器的配置配置nis，nfs的情况基本和服务器类似，只是进入yast的时候选择的是nis 客户端，和nfs客户端即可，这里不再详细说明。之后启动rsh服务，启动过程， 编辑/etc/xinetd.d/rsh 将其中内容 “disable = yes改成 “disable = no， 重新 res tart xine td，激活 rsh #chkconfig - level 345 rsh on #/e tc/rc.d/xine td res tart,这样就配置好 rsh 了，Lammpi的编译安装使用。(1)至到 lammpi官方网站www.lam-mpi.org下载最新的源代码，注意不要下载 rpm格式的，要自己编译tar.gz格式的2) 用 “tar zxvf lam-7.1.1. tar.gz 解压3) 进入该目录配置编译信息(后面编译vasp中的makefile有)./configure一prefix 二/usr/local/lam-7.1.1with CFLAGS= O with-fc二ifor twith f77flags= 0 without romio几点说明，前面是配置lammpi的安装路径/usr/local/lam-7.1.1,指定的编译 器是intel的fortran编译器ifort(4)然后执行make进行编译，最后执行make ins tall安装，ok成功安装lam mpi之后最好把/usr/local/lam-7.1.1/bin加入到搜索路径中，具体做法vi编辑 /etc/profile 找到#make path more comfortableif test then PATH=/usr/local/bin:/usr/bin:/usr/X11R6/bin:/usr/local/lam-7.1.1/binOk, 这样就设置好路径了，注意的是服务器和节点机器都要设置，因为我们是通 过nfs共享lam。之后新建一个文件，lamhosts,输入nodeO,执行lamboot 一 lamhosts如果显示有lam的相关信息，那说明安装成功。 之后顺便说一下lam的使用的几个命令，注意执行lam不能在root下操作1) 新建一个文件，说明要使用并行计算的几个机器，vi lamhosts 加入你要计算的机器，比如nodeO nodel node2每个机器一行2) lamboot v lamhosts 启动 lammpi3) mpirun np * program*为你运行机器的台数，progran为并行程序， 在vasp中我就直接运行mpirun np 10 vasp4) 运行结束，记得wipe v lamhosts释放机器，否则节点机器无法关机，我 经常忘记执行这个命令，导致关机的时候无法正常关机.。Ifc8.0并行vasp的编译(参考了本论坛的转帖VASP程序的编译(valenhou) 感觉vasp安装不同操作系统不同的版本情况有很大不一样，在suse中并行 vasp4.6我编译不成功，并行vasp4.5成功，串行4.6也成功，在rhas4.0中串 行vasp4.6无法成功编译，vasp4.5则没有问题，大家如果编译不成功的话，可 以试试不同版本。下面讲讲我的并行编译。首先要安装好fortran的编译器ifc 这个不详细讲了，重要是要配置好路径，节点机器也是同样问题，ifc可以通过 nfs共享，节点机器只要设置好路径就好了。1. 下载数学库 libgoto,我的是 intel 平台我下 libgoto_prescott32p-r1.00.so, 之后我把他放在vasp上一级目录/usr/local/lib中2. 解压 vasp.4.5.tar.gz 和 vasp.4.lib.tar.gz，注意把 vasp 安装在 usr/local 的共享目录中Tar zxvf vasp.4.5.tar.gz tar zxvf vasp.4.lib.tar.gz3. cd vasp.4.libcp makefile.linux_ifc_P4 makefilevi makefile把当中的编译命令ifc改为ifort，在8.0中的命令是ifort不是 ifc之后执行make命令得到l ibdmy.a。4. cd vasp.4.5cp makefile.linux_ifc_P4 makefilevi makef ile把前面第50行的FC=IFC部分用#注释掉，第80 82的cpp部分 也注释掉之后就是 136 彳亍 blas = /usr/local/lib/libgoto_prescott32p-rl.00.so -lsvmlLAPACK 用 139 行 vasp 自带的 lapack, 把第166行和167行有关FFT3D的行前加上注释号，如下面的#FFT3D = fft3dfurth.o fft3dlib.o#FFT3D = fftw3d.o fft3dlib.o /opt/libs/fftw-3.0.1/lib/libfftw3.a 之后把202, 203行mpi部分fc=mpif77的#去掉把212行有关CPP的行前的注释号去掉把226和227行有关SCA的行，加上注释号把239和243行有关FFT3D的行，改成如下的内容：# FFT: fftmpi.o with fft3dlib of Juergen FurthmuellerFFT3D = fftmpi.o fftmpi_map.o fft3dlib.o# fftw.3.0.1 is slighly faster and should be used if available#FFT3D = fftmpiw.o fftmpi_map.o fft3dlib.o /opt/libs/fftw-3.0.1/lib/libfftw3.a把这些都修改后，保存，再make得到vasp的可执行程序，为了和串行区别之后 我把vasp修改为vaspmpi，copy到/bin中去。这样就大功告成了。作者： wuli8首先，安装和配置 MPICH2MPICH2 是 MPI（Message-Passing Interface）的一个应用实现，支持最新的 MPI-2 接口标准，是用于并行运算的工具，在程序设计语言上支持C/C+和Fortran。 最近因为有项目需要的计算量比较大，所以就学习使用了 MPICH2，在此根据网 络上查询的相关信息和我自己的实际使用经历,分别总结一下MPICH2在windows 和 linux 下基本的安装使用方法。软件下载MPICH2 的主页是 http:/www-unix.mcs.anl.gov/mpi/mpich2/index.htm，在这 个页面上就能找到各平台最新版本MPICH2的下载地址，其中还包括源代码，我 在开始作这个项目的时候最新版本是windows版mpich2T.0.5p2，源代码 mpich2-1.0.5p4。我们的项目是一个CentOS版linux下的程序，所以最终是要 在linux下运行的，但是又舍不得windows，于是就打算可能的话就在windows 下写程序，用MinGW加windows版的MPICH2编译调试，通过后再到wmware虚拟 机组成的简单集群作测试。所以，为避免不必要的麻烦，就要统一一下windows 和linux下的MPICH2版本，而且不打算用最新的，因此决定用mpich2-1.0.5 版。但是，如果在主页上找的话是没有以前旧版本下载的链接的（至少我没找到）， 只有最新版本的 http 和 ftp 下载。这难不住我等有心之人，既然提供了 ftp 下 载，那咱就直接到他ftp服务器上找，最新源代码链接的地址是ft p:/f tp.mcs.anl.gov/pub/mpi/mpich2T.0.5p4 .t ar.gz，把后面文件名去掉 就应该是文件的ftp存放路径，把这个路径直接写到浏览器地址栏里回车（偶用 的是FireFox2），就能看到他们服务器上这个目录的文件列表，里面就有1.0.5 版的 windows 安装文件和源代码包，分别为ftp:/ftp.mcs.anl.gov/pub/mpi/mpich2T.0.5-win32-ia32.msi 和ftp:/ftp.mcs.anl.gov/pub/mpi/mpich2T.0.5.tar.gz。msi 文件不用多说, 这是windows下安装用的，源代码包我们拿来在linux下用。文档下载还是主页上就有MPICH2的安装和使用指南文档，主要有三个，分别是Users Guide， Ins tallers Guide 和 Windows Developers Guide, 都 down 下来看看 很有用的说。具体开发用的有关MPI标准的文档在MPI论坛的网站里都有，地址 是 http:/www.mpi-forum.org/，我觉得最有用的是 MPI-2: Extensions to the Message-Passing Interface。Windows 下的安装配置我用的参与计算的系统都是WindowsXP Pro SP2，安装的过程没什么太特别的， 一般就是默认就可以，只是其中有个地方要填一个什么passphrase，上面提示 说所有系统都要用相同的passphrase，照做就是了，在所有参与计算的结点机 器上都填一样的passphrase就好了。另外就是需要.net framework 2的运行环 境。默认安装的位置是C:ProgramFilesMPICH2，下面的bin目录下是系统配置运 行需要的程序，为了方便在控制台使用，可以把C:ProgramFilesMPICH2bin 加到系统的PATH变量中去。Include是头文件，开发的时候用，lib是链接程序 的时候用的库文件。 Jumpshot 下有个 pdf 的文档，干什么用的可以看看这个文 档，我没仔细看，感觉我暂时还用不上。 Examples 下面是一个样本程序，就是 一个用MPI计算圆周率的程序，分别有C，C+和Fortran版，C/C+的应该可以 用VS2003以上版本打开。同时，安装程序还会自动向系统注册一个服务MPICH2 Process Manager，我们从控制面板一管理工具一服务里就能找到，这是管理运 行 MPI 程序的一个服务，安装好后就是自动启动的，所以一般也就不用动它。安装完毕后开始菜单一程序中就添加了一个MPICH2目录，其中就有上面提到的 Jumpshot，另外wmpiconfig.exe是用来配置运行环境的，我在网上有找到的说 明都是以前旧版本的，和现在的差别比较大，感觉这新版本用的不爽，没搞明白 这个程序该咋用，不过好像默认状态下不改什么就能正常使用，所以也就不管它 了。 wmpiregister.exe 则是用来注册用户的，使用 MPI 之前需要在这个程序里 注册一个系统里已经存在的用户，而且这个用户必需拥有管理员权限，拥有运行 我们安装了的MPI系统的能力。比如我就在所有参与运算的机器上添加了一个管 理员mpi，密码也是mpi。接下来，我们就可以开始试着运行一下 MPI 的程序了。就用 examples 目录下面 的那个计算!-if !vml-圆周率的程序。如果要多机并行计算的话，就需要 在所有机器上的相同位置放置要运行的程序，我的情况就是在所有机器的C盘下 建了一个 mpiexe 的目录，并把 cpi.exe 拷到所有机器的这个目录下。然后，在 其中的某台机器上进入控制台（运行MPI程序其实也可以用开始菜单的MPICH2 下的wmpiexec.exe,这是个gui程序，但是我觉得用的不爽，不如直接在控制 台下敲命令来得灵活），敲下命令 mpiexec -hosts 2 192.168.10.142 192.168.0.23 c:mpiexecpi.exe。mpiexec 是安装目录下 bin 目录里的一个程 序，在本文的例子中就是 C:ProgramFilesMPICH2binmpiexec.exe，因为刚 才说了，我把这个地址加入到PATH里了，所以可以在任何地方直接执行，它是 用来启动MPI程序的，-hosts参数说明是启动多台机器并行运算，后面跟着的2 就是说要在两台机器上执行程序，再后面的就是那两台机器的ip地址，其中第 一个就是我启动程序的机器，当然，这个地方也可以写机器名，只要它的机器名 能被正常的解析就可以，最后面的就是要运行的程序，也就是刚才提到的所有机 器都要在相同位置放置的那个MPI程序。如果只是在本机运行，则命令为mpiexec -n 2 cpi.exe，-n表示是在本地运行，后面的2表示启动的进程数。程序运行 后就会提示让你输入一个数字intervals，这个数字影响计算的精度，值越大精 度越高，当然计算时间就越长了，然后程序会打印出计算的结果和花费的时间。比如，我使用单机单进程运行，intervals设为99999999，耗时1.253849秒， 而用两台机器双进程则只有0.628954秒，明显快很多，并行运算还是很有效果 的。不过，如果我们把intervals改为9999，单机运行只用了 0.000279秒，而 两台机器却花了0.001548秒，这是因为并行运算过程中，参与运算的机器需要 通过网络传递一些消息，如果计算量不大的话，花在了这上面的时间影响会比较 明显，因而反不如单机版的来得快。到现在我们的 MPI 运行环境就基本安装好了，当然， MPI 还有很多其他的命令参 数，只不过最常用估计也就这两条了，其他的用得着的时候就去查上面提到的文 档，里面有比较详细的介绍。另外，如果按照以上的介绍进行安装配置，在运行 多机并行MPI程序的时候却出现连接错误的话，八成是因为网络的问题，看看你 的防火墙是不是开着，打开相应的端口，或者干脆关掉防火墙就好了。Linux下的安装配置和单机运行Linux下的操作要相对来说麻烦一点，这个麻烦从安装开始，呵呵。我用的系统 是Cen tOS4.4，装在VMware Works tat ion里的，一共装了两个虚拟机，环境基 本上完全一样。为运行MPI在两台虚拟机都创建了一个用户mpi，密码也是mpi， home路径也都是/home/mpi,然后继续都创建了一个目录/home/mpi/mpich2用来 作MPI运行环境的安装路径，一个/home/mpi/mpich2/src来存放编译用的源代 码。然后将源代码包mpich2-1.0.5. tar.gz下载到两台机器上，都解压缩到 /home/mpi/mpich2/src 中，然后到/home/mpi/mpich2/src 下，扌旨定安装路径，./configure -prefix=/home/mpi/mpich2 makemake install几分钟后安装完毕。需要提一下的是，我曾经试着用root用户来安装MPICH2, 但是安装后好重启系统就出了问题，所以建议还是另外建个用户来装吧（ubuntu 干脆就把 root 给禁了，不让你直接用 root）。安装后/home/mpi/mpich2下多出来一些目录和文件，要比windows多， lib是库文件，include是头文件，bin还是程序文件，所以还是要写到环境变 量里，可以用命令 export PATH /home/mpi/mpich2/bin:$PATH，但我是用 root 用户直接在/etc/profile最后面加了这么一句export PATH=/home/mpi/mpich2/bin:$PATH， 一劳永逸。MPI应用一个管理器来管理运行MPI程序，这个管理器就是mpd，但是在 正式开始运行mpd前还需要一个基于安全考虑的配置文件，.mpd.conf，这个文 件是要放在运行程序的用户的home目录下，本例子中就是 /home/mpi/.mpd.conf，而且这个文件只能由这个用户读写，创建文件的命令是,cd $HOMEtouch .mpd.confchmod 600 .mpd.conf然后在文件中写入这么一行， secretword=*， *在参与计算的计算机上必需 完全一致。如果是root用户的话，这个文件应该是/etc/mpf.conf。然后，我们就可以启动mpd管理器了，直接在控制台下使用mpd命令， 或者是mpd &，让mpd在后台运行，若关闭启动的mpd，只需要命令mpdallexit 即可。在启动mpd之后就可以运行MPI应用程序了，执行命令与windows下类似, 如我们仍然是测试一下 examples 里的 cpi 程序可以这样来作，cd /mpich2/examplesmpiexec -n 1 ./ cpi参数含义同windows下的单机运行命令。另外，启动mpd后还可以用命令 mpdtrace 来察看当前运行的 mpd 情况。SSH 配置和多机并行MPI 的多机并行是用 mpdboot 来管理启动的，是由参与计算的其中一台机器通过 mpdboot 同时启动其他机器上的 mpd 管理器并运行相应 MPI 程序的，所以，需要 赋予运行mpdboot的机器执行其他机器上程序的能力。MPICH2支持通过ssh和 rsh来做到这一点，其中ssh是默认的，而且其安全性也优于rsh，因此，我在 项目中是用的 ssh。首先，我们需要修改所有机器上的/etc/hosts文件，在里面添加上参与 计算的机器名和 ip 地址，比如本文中有两台机器参加的例子里， hosts 文件应 当为：127.0.0.1 localhos t.l ocaldomain localhos t192.168.10.142 node0192.168.10.23 node1这里的意思是说，主机名为nodeO的机器ip地址为192.168.10.142，主机名为 nodel 的机器 ip 地址为 192.168.10.23。当然，其实这一步也可以跳过，因为我们也可以在操作过程中直接使用ip地址,只不过那样不太方便。另外就是，有些机器默认情况下第一行可能包括本机的主机名，比如在ip为192.168.10.142的node0 上, hosts文件第一行是127.0.0.1 localhost.localdomain localhost node0这样可能会使得 mpdboot 工作不正常，所以还是最好给成上面的那种形式。第二步是创建ssh密钥，命令行下：#ssh-keygen -t rsa-t rsa指的是密钥类型，具体请察看ssh相关资料，这里不多说。这样就在当前用户的home目录下生成了一个.ssh目录，本文中的就是/home/mpi/.ssh。第三步，将/home/mpi/.ssh下的id_rsa.pub文件拷贝改名为authorized_keys，艮卩#cp id_rsa.pub authorized_keys第四步，在其他所有机器上进行以下操作。生成.ssh#ssh-keygen -t rsa文件夹#scp nodeO 的 IP:/home/mpi/.ssh/* /.ssh拷贝 nodeO 上的.ssh文件夹覆盖本地的第五步，在所有机器上建立与自己和所有其他机器的信任连接。对每个节点执行：#ssh nodeO#ssh node1根据提示键入yes即可。然后就可以在不需要用户名密码的情况下通过ssh登陆 其他机器了，比如在nodeO 上#ssh nodel,就可以直接进入 node1。接下来，在启动mpdboot的机器上创建一个参与计算的host列表文件， 如文件mpd.hosts，每行是一个主机名，创建过程如#cd #touch mpd.hosts#vi mpd.hostsnodOnodel现在，就可以启动运算集群了#mpdboot -n 2 -f mpd.hosts-n表示要启动的机器个数，一般是不大于mpd.hos ts文件中的机器数，比如本 文中的例子就是两台机器。这样，列表中的机器就会启动其本机上的 mpd 管理器。然后，就可以开始运行MPI程序，进行运算了，同windows下一样，程 序需要放在每台机器上的相同位置（如果用NFS就只需在一台机器上放置程序， 其他机器作映射就行），比如都是程序/home/mpi/mpich2/examples/cpi,在运 行 mpdboot 的结点机器上：#mpiexec -n 2 /home/mpi/mpich2/examples/cpi-n表示要启动的进程个数，一般是不大于mpd.hosts文件中的机器数（或者cpu核心数？偶 用的机器就是双核的了，所以单机的时候双进程比单进程效率好很多，但是三进程就不行）。Mpd在运行过程中，可以通过mpdtrace显示参与计算的机器名，mpdtrace -则是显示机器 名以及其端口 让计算集群能够良好运转的，不仅有软件、工程师以及电力和散热，更重要 的是，其背后强大的“数据供给”一一存储集群。 Panasas 公司是一个结合了软件、网络、存储为一体的，提供 Linux 集群存 储产品的厂商。目前该公司的产品较多地应用在“ Las Alamos ”等美国国家 实验室和大学等研究机构，而在中国， Panasas 已经成功的进入了石油行业。 Victor Perez 先生认为目前的存储行业，提供的存储设备可以分为三个层次， 第一个层次是以SAN、NAS、DAS为主的低端网络存储;第二个层次则是一些初 级的存储集群，这些存储集群是利用一个软件来管理不同的存储池，整个存 储集群中，仍会形成两个甚至三个截然不同的存储池。甚至可能 NAS 池和 SAN 池分别部署在由不同供应商提供的不同存储平台上，而且各自都有自己 独特的管理工具。结果，不仅增加了系统的复杂程度和系统管理员的负担， 而且增加了费用。第三种，则是以 Panasas、 Lustre、 GPFS 为代表的能够建 立单一卷的高端存储集群。他表示，作为能够并行管理多个存储池并让用户 在应用中只需面对一个单一的卷的存储集群，目前 Panasas 的存储集群是业 内的领先者。 随着众多行业的自身发展，其企业的应用要求更强的计算和分析海量数据的 能力，从而完成企业业务的需求，目前来看， Cluster 集群以其巨大的可扩 展性和计算能力，对不断提升的对高性能计算的要求有着天然的“吸引力”。 而在基于包括Windows、Unix、Linux众多系统的集群中，Linux集群因其开 放性、较低的价格、良好的性能以及并不输于Unix集群的稳定性，成为了很 多企业建立集群时的首选。 Linux集群在如石油勘探、气象、地震海啸预警等方面大展拳脚的同时，存储 却成为了限制Linux集群的发展羁绊。我们知道集群中节点众多，其每个节点及 整体的计算量都非常大，所以才能完成企业大规模的高性能计算任务，但是这些 计算能力都是要以存储系统能够提供充足的数据为前提的。 Victor Perez 先生 谈到，以现在中国的很多油田为例，他们为了完成计算任务，不断的加入新的节 点，虽然提高了整个网络内的集群的计算节点，结果却带来了很大的存储问题， 存储系统的I/O带宽难以为继，很多计算节点因为无法获得数据而被迫停止运算 或降低运算效率。谈到存储集群，不得不提到目前Linux集群的存储问题，我们 知道一个Linux集群有着成百上千的计算节点，这些计算节点通过或独立运算或 通过分布式软件进行分布式计算，而在计算过程中获得数据，就成了目前用户集 群系统面临的最大问题。如果还是采用传统的连接和存储方式已经不能满足系统 的需求。 目前高性能计算在业界较为流行的解决方案是使用 PC 集群技术，就是把多 台计算机用高速网络连接，组成一个集群，运行特定的程序进行计算。另外， 还需要在服务器集群等大规模并行计算机上运行需要上百万美元的国外商业 专业处理软件来运算这些海量数据。但是，随着集群的不断扩大，软硬件投 资、庞大场地、空调制冷、功耗等，都成为制约集群发展的问题。比如， 1 万个 CPU 集群，每年仅电费就消耗 1000 多万，其软硬件投资更是天文数字。 集群计算机系统成为石油物探数据处理的主流甚至是唯一系统架构类型。从技术发展趋 势来看，异构并行计算系统将成为下一个十年的主要发展方向。项目组按照GPU原理及协同并行计算(CPPC)的思路，针对偏移算法中不同阶段的运算 特点，采用不同的软件编写策略，在刘洪研究员偏移算法程序的每一个环节最大限度实 现不同处理器协同计算，使得其成功编写了“非对称走时 Kirchhoff 叠前时间偏移算法” 的协同并行计算(CPPC)软件。