System 服务器日志收集的方法

System 服务器日志收集的方法System X服务器日志收集的方法 一、 通过SVCCON收集BMC日志 1、 下载SVCCON工具 ibm_utl_svccon_112_windows_anycpu.exe 2、设置服务器BMC的IP地址和终端的IP地址 A、BMC 管理端口共享的是服务器主板上面的第一个网络口，缺省的模式是enable的，默认IP是10.1.1.97；子网掩码是255.255.255.0。网络设置可以通过下面的方法去核实或设置：在F1 Setup under Advanced Setup- Baseboard Management Controller (BMC) Settings - BMC Network Configuration (see below): B、设置终端的IP地址为10.1.1.100子网掩码为255.255.255.0(see below) 3、使用SVCCON工具收集BMC日志 A、直接运行下载程序ibm_utl_svccon_112_windows_anycpu.exe，会弹出一个窗口(see below)，10.1.1.97是默认的IP，也可以更改成USER自定义的IP。 B、然后点击Logon，登陆成功后，最下面的信息栏中显示的是Connecting状态(see below) 。 C、点击Dump SEL键，会弹出一个对话框，在对话框中键入需要保存信息的文件名， ，选择保存。 D、日志保存完后状态恢复到Connecting状态(see below) ，点击Disconnect键，断开连接，关闭SVCCON的窗口。 E、将日志文件发给IBM工程师。 二、通过 SMBridge 工具收集日志 1、下载SMBridge工具 osa_utl_smbr_2.0.17.1_anyos_anycpu.zip 2、 设置服务器BMC的IP地址和终端的IP地址 A、BMC 管理端口共享的是服务器主板上面的第一个网络口，缺省的模式是enable的，默认IP是10.1.1.97；子网掩码是255.255.255.0。网络设置可以通过下面的方法去核实或设置：在F1 Setup under Advanced Setup- Baseboard Management Controller (BMC) Settings - BMC Network Configuration (see below): B、设置终端的IP地址为10.1.1.100子网掩码为255.255.255.0(see below) 3、使用SMBridge工具收集日志 1) 解压缩下载的软件包，安装SMBridge Utility，选择缺省设置，应用程序将会被安装到C:Program FilesSMBridge的目录下： 2) 在MS-DOS的方式下：进入到C:Program FilesSMBridge的目录，键入命令：smbridge -ip 10.1.1.97 -u USERID -p PASSW0RD sel get bmclog.txt 注意：10.1.1.97是缺省IP，USER可以使用自定义IP；bmclog.txt是BMC日志保存的文件名，建议最好使用服务器的系列号。 3) Enter执行命令，完成后会在C:Program FilesSMBridge的目录下生成一个bmclog.txt 4) 将日志文件发给IBM工程师 三、收集F2日志 1、 启动机器，在机器自检过程出现F2提示时按F2进入诊断窗口 ； 2、 在诊断窗口界面菜单行选择Hardware Info，再选择System Error Log，等日志出来后按F3保存日志； 3、 把test.log日志文件发给IBM工程师； 四、Windows收集DSA日志 1、下载DSA工具 ibm_utl_dsa_202p_windows_i386.exe 2、将下载的文件拷贝到C：的根目录下， 3、转到MS-DOS模式， 进入C：的根目录，输入命令 ibm_utl_dsa_200p_windows_noarch.exe v, Enter执行 4、程序执行完成后，出现下面的界面后回车退出MS-DOS模式 5、将C:IBM_Support目录压成ZIP文件发给IBM工程师。 五、收集 ServeRAID 日志 1、 对于8系列的阵列卡，在Windows OS environment使用ServeRAID Application 8.40 CD安装ServeRAID Management程序，然后重启后进入系统运行ServeRAID Management程序，进入ServeRAID管理器的界面，点击直接连接的服务器，输入超级用户密码。 2、输入超级用户密码后进入下面的界面，就可以看到这台服务器上面所有的ServeRAID controller。 本地系统 3、在左手边的窗口里面选中本地系统，然后点击右键，在弹出的菜单上面选择保存支持归档 4、在弹出的窗口中选择保存文件的路径和文件名称，将生成的support.zip文件发邮件给IBM 工程师 5、对于7系列以下的阵列卡，建议安装ServerRAID manager7.10b版本，菜单上面选择Actions选择save printable configuration and event log 然后将raid*.log(如raid1.log、raid2.log、raid3.log等）文件发送给IBM工程师。 如果系统正常的，也可以在系统下运行Dumplog program 来收取日志， 1 raid1.txt，1代表第一块阵列卡，raid.txt是日志文件名；如收取系统中的第二块阵列卡的日志可以用命令：dumplog 2 raid2.txt; 然后将文件发送给IBM工程师。 六、收集ServeRAID Uart日志 1、对于8系列的阵列卡，CAG有时要求收集Uart日志 2、 确认Windows OS系统中安装了ServeRAID Management的管理软件，在安装目录下可以找到arcconf.exe 这个执行文件 3、 在windows系统的MS-DOS方式下，输入命令：arcconf getlogs 1 uart uart.log，等待命令执行完成。备注：uart.log是保存的文件名，它是可以根据需要更改的 4、 在与arcconf.exe文件相同的目录下，打开uart.log，确认是不是有内容 5、 使用ZIP的格式发送日志给IBM 工程师 七、收集RSA II的日志 1、准备一台终端，通过网线直接连接到Remote Supervisor Adapter II上的网口 2、配置终端的IP和 Remote Supervisor Adapter II的IP在同一网段，建议配置IP 192.168.70.130，Remote Supervisor Adapter II的默认IP是192.168.70.125， 3、打开终端的IE窗口，在地址栏中输入Remote Supervisor Adapter II的默认IP：192.168.70.125登陆Remote Supervisor Adapter II，在登陆界面上面输入用户名和密码。 Remote Supervisor Adapter II的默认IP：192.168.70.125 默认用户名：USERID 默认口令：PASSW0RD 4、登陆Remote Supervisor Adapter II的管理界面，在左手边的窗口中选择MonitorsSystem StatesEvent Log， 5、选择Save Logs as Text File，保存事件日志。 八、收集spint日志 1、 保存邮件里面Sprint 工具文件到电脑中，通过rawrite.exe制作Spirnt 工具软盘 2、 重启服务器，F1进入POST/BIOS setup utility设置先从软盘启动 3、 使用该软盘启动服务器 4、 针对X366和X3800的服务器 执行命令：X366DMP 99*SP,等待命令执行完成 针对X460和X3950的服务器 执行命令：X366DMP 99*SP,等待命令执行完成 5、 在软盘上面输入 Type 99*SP.TXT |more确认是不是有内容 6、 使用ZIP的格式发送日志给IBM 工程师 九、收集Blade MM 和AMM的日志 1. 刀片管理模块的默认IP地址是192.168.70.125，默认用户名USERID，密码PASSW0RD。数字0而不是字母O。 2. 通过IE浏览器打开192.168.70.125，输入用户名和密码后，即可进入界面。 注：MM和AMM左边的内容栏有些不同。 保存那些日志以及如何保存？ l 如下，需要用如下方式保存成mtl页面文件。 - 选择菜单中“文件”- “另存为”- 文件类型选择“Web档案，单一文件”，按照信息类型输入文件名，点击保存即可。 1. Monitor下面的System Status、Event Log、LEDs、Fule Gauge、Hardware VPD、Firmware VPD。 2. Blade Tasks下面的 Power Restart、Configuration、Serial Over Lan。 3. I/O Module Tasks下面的Admin/PowerRestart、Configuration。 4. MM Control下面的General Information、Network Interfaces。 5. Service Tools下面的AMM Status。 l 如下日志直接保存成文本格式。 1. Monitor下面的Event Log。打开 Event Log页面，右下角点“Save Log as Text File”，保存即可。 2. Service Tools下面的Service Data。打开 Service Data 页面，在右下角点“Save Service Data”保存即可。 用ServerRaid manager support CD 收集日志的方法 Collecting step: 1. Connect an USB floppy drive with a formatted floppy diskette to this server; 2. Boot up with ServeRAID support CD; 3. Wait ServeRAID manager boot complete; 4. Move ServeRAID Manager window away; 5. Press and click left button of mouse; 6. A menu appears as below, select XTerm to enter shell; 7. Run command mount /dev/sda /floppy in shell, maybe you will get an error: /dev/sda: Input/output error, please ignore; 8. Issue command: arcconf getlogs 1 uart /floppy/uart.log to capture uart to floppy diskette; 9. Execute command umount /floppy to disconnect floppy drive, you can find the uart.log in the floppy diskette and send to support team. DS3000日志收集方法 X3650T日志收集方法 针对x3650T机器的故障判断，我们除了收集系统和raid日志以外，我们还可以收集sel log协助判断故障。 1. 我们需要一张Document and Resource CD收集sel log，该光盘在机器的附件中提供。 2. 把CD放入光驱，从光碟启动，启动后会出现一个菜单。选择“continue” 3. 再选择Server configuration utilities-continue 4. 选择Run sel viewer utility-continue 5. 点击file-save as-选择A:，并输入文件名，保存。提示保存成功 6. 重新启动机器，进系统后可以看到增加了一个64M的磁盘，打开该磁盘，将里面的文件发给我们。 针对x3650收集bmc的其他的操作：附件中的第4部开始-选择另存为。选a-输入文件名-按table到a，回车，再按table键回到文件名-再选文件名-会体现存盘的进度条。会提示保存成功。重新启动，进系统后可以看到有一个64M的小磁盘，copy出来就可以。 七、微码在 05.xx.xx.xx或以下的DS4000的故障数据收集 适应机型：FAStT200/FAStT500/一部分旧的FAStT100(DS4100)、FAStT600(DS4300)、FAStT700(DS4400)、FAStT900(DS4500) 在这个版本的微码之下，SM子系统界面的版本是08.xx.xx.xx。 需要单独收集日志文件： Storage Subsystem Profile、Major Event Log 和Read Link Status Diagnostics Report(RLS report)和两个控制器的串口日志 1 收集Storage Subsystem Profile 选择“View”菜单下面的“Storage Subsystem Profile”，选择“Save As”， 将Profile 保存下来，默认格式是txt文本。如果是一台FAStT200，序列号为23A8888，建议文件名为 FAStT200_Profile_23A1888_yymmdd.profile.txt。 2 收集Major Event Log 选择选择“View” 菜单下面的“Event Log”，或者直接点击子系统界面里的按钮： 注意： a.在收集Major Event Log的时候，一定要取消默认的Critical Event Only的选项勾，确保能收集到所有event。 b.一定要设定足够多的行数收集，将“Retrieve most recent events”设为最大值的“8192”，并按Update刷新。因为默认是只显示200行event记录。 c.最后点击“Select All”，然后“Save As”保存 默认格式是文本(*.log)，如果是一台FAStT200，序列号为23A8888，建议文件名为 FAStT200_Profile_23A1888_yymmdd.mel.txt。 3 收集Read Link Status Diagnostics Report(RLS report) 链路信号噪音检测报告 FAStT/DS4000系列的一个技术特点是采取了FC_AL的光纤仲裁环路结构。也就是说，控制器，磁盘扩展柜和其内部的硬盘都是串行连接在光纤链路上的。这种结构有一个缺点，就是环路上某个硬件的故障，会引起噪音信号，从而有可能影响链路上其他的硬件的正常工作。另一方面，这种噪音故障很难进行准确定位。因此SM软件提供了一个测试程序Read Link Status Diagnostics检测链路上的信号噪音，用来协助故障定位。 关于RLS的具体用法和解释，参见Redbook“DS4000 Series, Storage Manager, and Copy Services”的第6.2.5节：“Read Link Status diagnostics”。 在Subsystem Management中，选择Storage Subsystem Read Link Status Diagnostics: 对于RLS report, 因为初始的report可能累计了不少链路噪音数值，所以建议先点击Set Baseline.重置采样开始时间，将所有噪音数值清零，然后点击Run开始重新监测。我们建议等待15分钟至1个小时，然后点击Save As保存报告。默认的报告文件类型是Excel格式。一般查看噪音信号“ITW”值。正常情况下，噪音值应该很小，在0到20之间 4 强制要求分别收集DS4000两个控制器的串口日志 经验表明， 对于微码在05.xx.xx.xx或以下的DS4000，上述三个日志文件并不能完全对故障进行全面分析，因此我们还需要使用串口线分别连接两个控制器，获得底层的串口日志。 收集方法：通过“超级终端”进行连接，然后使用“捕获文字”的功能将屏幕输出收集到日志文件里。 具体的日志收集命令如下： ld Troubleshooting-Collect All Support Data . 这个操作会生成一个zip文件，可以随意命名。 收集All Support Data大概需要10-15分钟左右。 这个文件已经包含了Profile、Major Event Log、Read Link Status Diagnostics Report以及其他一些日志。 All Support Data的zip文件同时包括了重要的串口日志文件stateCaptureData.dmp stateCaptureData.dmp文件实际上就是一系列串口命令的输出集合，但是它是通过以太网方式获得的。 注意： 一定要让装有Storage Manager客户端管理软件的PC loadDebug vdAll cfgUnit avtShow fcDump hddDump netCfgShow I (是大写的 i) dqprint lockMgrPrint hwLogShow excLogShow fcAll unld Debug 默认格式是文本，必须将收集到的文本文件重命名成*.ss.txt。注意必须两个控制器的串口日志都需要收集。 3 查看Major Event Log 菜单：Advanced-Troubleshooting-View Event Log 4 查看Read Link Status Diagnostics Report(RLS report) 菜单：Advanced-Troubleshooting-Run Diagnostics-Read Link Status Gathering information from Linux in /proc. 1. /proc/self/ a. The /proc/self/ directory is a link to the currently running process. This allows a process to look at itself without having to know its process ID. b. Within a shell environment, a listing of the /proc/self/ directory produces the same contents as listing the process directory for that process. 2. /proc/bus/ a. This directory contains information specific to the various buses available on the system. b. So, for example, on a standard system containing ISA, PCI, and USB busses, current data on each of these buses is available in its directory under /proc/bus/. 3. /proc/driver/ a. This directory contains information for specific drivers in use by the kernel. b. A common file found here is rtc, which provides output from the driver for the systems Real Time Clock (RTC), the device that keeps the time while the system is switched off. 4. /proc/scsi/ a. This directory is analogous to the /proc/ide/ directory only it is for connected SCSI devices. b. The primary file in this directory is /proc/scsi/scsi, which contains a list of every recognized SCSI device. For example, if a system contains a SCSI CD-ROM, tape drive, hard drives, and RAID controller, this file will look similar to this: Attached devices: Host: scsi1 Channel: 00 Id: 05 Lun: 00 Vendor: NEC Model: CD-ROM DRIVE:466 Rev: 1.06 Type: CD-ROM ANSI SCSI revision: 02 Host: scsi1 Channel: 00 Id: 06 Lun: 00 Vendor: ARCHIVE Model: Python 04106-XXX Rev: 7350 Type: Sequential-Access ANSI SCSI revision: 02 Host: scsi2 Channel: 00 Id: 06 Lun: 00 Vendor: IBM Model: 1x6 U2WB SCSI BP Rev: 5.35 Type: Processor ANSI SCSI revision: 02 Host: scsi2 Channel: 02 Id: 00 Lun: 00 Vendor: MegaRAID Model: LD0 RAID5 34556R Rev: 1.01 Type: Direct-Access ANSI SCSI revision: 02 c. From this listing, the type of devices, as well as the model name, vendor, and SCSI channel/ID data is available. d. Each SCSI driver used by the system has its own directory in /proc/scsi/, which contains files specific to each SCSI controller that uses that driver. 1) For the system above, aic7xxx and megaraid directories are present, as those two drivers are being utilized. 2) The files in each of the directories contain IO address range, IRQ, and statistics for the particular SCSI controller that utilizes that driver. 3) Each controller can report a different type and amount of information. The Adaptec AIC-7880 Ultra SCSI host adapters file in this example system produces the following output: Adaptec AIC7xxx driver version: 5.1.20/3.2.4 Compile Options: TCQ Enabled By Default : Disabled AIC7XXX_PROC_STATS : Enabled AIC7XXX_RESET_DELAY : 5 Adapter Configuration: SCSI Adapter: Adaptec AIC-7880 Ultra SCSI host adapter Ultra Narrow Controller PCI MMAPed I/O Base: 0xfcffe000 Adapter SEEPROM Config: SEEPROM found and used. Adaptec SCSI BIOS: Enabled IRQ: 30 SCBs: Active 0, Max Active 1, Allocated 15, HW 16, Page 255 Interrupts: 33726 BIOS Control Word: 0x18a6 Adapter Control Word: 0x1c5f Extended Translation: Enabled Disconnect Enable Flags: 0x00ff Ultra Enable Flags: 0x0020 Tag Queue Enable Flags: 0x0000 Ordered Queue Tag Flags: 0x0000 Default Tag Queue Depth: 8 Tagged Queue By Device array for aic7xxx host instance 1: 255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255 Actual queue depth per device for aic7xxx host instance 1: 1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1 Statistics: (scsi1:0:6:0) Device using Narrow/Sync transfers at 10.0 MByte/sec, offset 15 Transinfo settings: current(25/15/0/0), goal(12/15/0/0), user(12/15/0/0) Total transfers 132 (0 reads and 132 writes) 2K 2K+ 4K+ 8K+ 16K+ 32K+ 64K+ 128K+ Reads: 0 0 0 0 0 0 0 0 Writes: 0 0 0 1 131 0 0 0 4) From this screen, you can see the transfer speed to the various SCSI devices connected to the controller based on channel ID, as well as detailed statistics concerning the amount and sizes of files read or written by that device. By referring to the /proc/scsi/scsi file, we can see that this controller is communicating with the CD-ROM at 20 megabits per second, while the tape drive is only connected at 10 megabits per second. 8. /proc/sys/ a. The /proc/sys/ directory is different from others in /proc because it not only provides information about the system but also allows you to make configuration changes to the kernel. b. This allows the administrator of the machine to immediatley enable and disable kernel features. II. Linux Runlevels 1. Entering a runlevel a. A runlevel is chosen when starting Linux by typing “Linux #” at the LILO or GRUB prompt, where # is the runlevel desired. b. A runlevel is chosen within Linux by typing “init #” at the command prompt, where # is the runlevel desired. 2. Available Runlevels Runlevel 0 1) Shutdown. 2) Runlevel 0 stops all services and shuts down the operating system Runlevel 1 1) Single-user mode. 2) Networking and X Windows are disabled in this runlevel. Runlevel 2 1) Limited command-line multi-user mode. 2) Enables networking, but not NFS or X Windows. Runlevel 3 1) Command-line multi-user mode. 2) NFS is enabled, but not X Windows. Runlevel 4 1) Runlevel 4 is not used in default Red Hat installations. 2) It can, however be user-defined. Runlevel 5 1) X-Windows multi-user mode. 2) This is the default runlevel on most Red Hat installations. Runlevel 6 1) Reboot. 2) Runlevel 6 will kill the processes that other runlevels start and restart the operating system. 3. Linux Boot Loaders a. GRUB 1) GRUB configuration file is /boot/grub/menu.lst 2) GRUB relies on the absolute hard drive addresses to find the boot image. 3) GRUB understands the filesystems and looks for a file containing the boot image. 4) GRUB can be password protected b. LILO 1) LILO configuration file /etc/lilo.conf 2) LILO does not understand filesystems and simply points to a partition to boot from. 3) LILO is not as secure as GRUB as there is no password protection.