HACMP工作原理及运维管理

1 HACMP 工作原理及运维管理 2 目 录 1 HACMP 双机系统的功能介绍 3 2 HACMP 双机系统的工作原理 3 3 HACMP 双机系统结构图 3 4 HACMP 安装配置前需作的准备工作 4 5 HACMP 的常用命令 4 6 HACMP 常见故障解决 6 3 1 HACMP 双机系统的功能介绍 Hacmp High Availability Cluster Multi Processing 双 机 热 备 份 软 件 的 主 要 功 能 是 提 高 客 户 计 算 机 系 统 及 其 应 用 的 可 靠 性 而 不 是 单 台 主 机 的 可 靠 性 2 HACMP 双机系统的工作原理 1 作 为 双 机 系 统 的 两 台 服 务 器 主 机 A 和 B 同 时 运 行 Hacmp 软 件 2 服 务 器 除 正 常 运 行 自 机 的 应 用 外 同 时 又 作 为 对 方 的 备 份 主 机 3 两 台 主 机 系 统 A 和 B 在 整 个 运 行 过 程 中 通 过 心 跳 线 相 互 监 测 对 方 的 运 行 情 况 包 括 系 统 的 软 硬 件 运 行 网 络 通 讯 和 应 用 运 行 情 况 等 4 一 旦 发 现 对 方 主 机 的 运 行 不 正 常 出 故 障 时 故 障 机 上 的 应 用 就 会 立 即 停 止 运 行 本 机 故 障 机 的 备 份 机 就 会 立 即 在 自 己 的 机 器 上 启 动 故 障 机 上 的 应 用 把 故 障 机 的 应 用 及 其 资 源 包 括 用 到 的 IP 地 址 和 磁 盘 空 间 等 接 管 过 来 使 故 障 机 上 的 应 用 在 本 机 继 续 运 行 5 应 用 和 资 源 的 接 管 过 程 由 Ha 软 件 自 动 完 成 无 需 人 工 干 预 6 当 两 台 主 机 正 常 工 作 时 也 可 以 根 据 需 要 将 其 中 一 台 机 上 的 应 用 人 为 切 换 到 另 一 台 机 备 份 机 上 运 行 3 HACMP 双机系统结构图 4 4 HACMP 安装配置前需作的准备工作 1 划 分 清 楚 两 台 服 务 器 主 机 各 自 要 运 行 的 应 用 如 A 机 运 行 应 用 B 机 作 为 standby 2 给 每 个 应 用 组 分 配 Service ip Standby ip boot ip 和 心 跳 线 tty 3 按 照 各 主 机 的 应 用 的 要 求 建 立 好 各 自 的 磁 盘 组 并 分 配 好 磁 盘 空 间 4 根 据 Ha 软 件 的 要 求 对 服 务 器 操 作 系 统 的 参 数 作 必 要 的 修 改 5 HACMP 的常用命令 1 查 看 Cluster 的 运 行 情 况 usr sbin cluster clinfo a usr sbin cluster clstat usr sbin cluster clstat 可 以 帮 助 你 查 看 当 前 HACMP 的 节 点 状 态 屏 幕 会 如 下 显 示 5 2 启 动 HACMP smitty clstart 注 有 两 种 启 动 HACMP 的 方 式 now 手 工 启 动 HACMP restart both 在 系 统 启 动 时 自 动 启 动 HACMP 3 停 止 HACMP smitty clstop 注 有 三 种 停 止 方 式 graceful 只 停 止 本 节 点 上 HACMP 的 运 行 并 释 放 由 本 节 点 管 理 的 资 源 但 允 许 其 它 节 点 接 管 graceful with takeover 停 止 本 节 点 上 HACMP 的 运 行 释 放 资 源 让 其 他 节 点 接 管 forced 停 止 本 节 点 上 HACMP 的 运 行 但 不 释 放 资 源 4 查 看 Cluster 的 进 程 状 态 ps ef grep cluster 注 应 有 三 个 HACMP 进 程 clstrmgr clinfo clsnuxpd 5 查 看 Cluster 的 日 志 及 错 误 信 息 6 more tmp hacmp out more var adm cluster log 注 可 以 在 启 动 HACMP 时 使 用 tail f tmp hacmp out 命 令 以 查 看 HACMP 的 启 动 是 否 正 常 或 跟 踪 启 动 时 的 错 误 信 息 6 查 看 Cluster 运 行 的 历 史 记 录 cd usr sbin cluster history 注 此 目 录 下 存 放 着 每 天 的 Cluster 运 行 记 录 7 查 看 Cluster 运 行 时 的 网 络 情 况 及 资 源 组 的 使 用 情 况 HACMP 启 动 之 前 netstat i 此 时 应 可 以 看 到 boot 和 standby 地 址 lsvg o 此 时 只 能 看 到 本 地 的 VG HACMP 启 动 之 后 netstat i 此 时 应 可 以 看 到 service 和 standby 地 址 lsvg o 此 时 应 可 以 看 到 本 地 的 VG 及 共 享 VG 6 HACMP 常见故障解决 导 致 集 群 中 节 点 失 效 的 无 反 映 开 关 Deadman Switch 问 题 现 象 7 集 群 中 的 节 点 经 历 着 极 端 的 性 能 问 题 如 大 量 的 I O 传 输 过 多 的 错 误 记 录 内 存 不 足 等 导 致 集 群 管 理 器 clstrmgr 没 有 得 到 足 够 的 CPU 处 理 时 间 而 引 起 无 反 映 开 关 在 分 配 的 时 间 被 重 置 某 个 应 用 程 序 运 行 权 限 高 过 集 群 管 理 器 时 会 导 致 此 问 题 解 决 方 法 术 语 Deadman Switch 指 的 是 在 特 定 集 群 条 件 下 未 能 及 时 重 置 该 开 关 引 起 系 统 宕 机 和 转 储 的 内 核 扩 展 部 分 无 反 映 开 关 在 超 过 了 特 定 的 时 间 限 制 后 会 宕 掉 处 于 挂 起 状 态 的 节 点 此 过 程 导 致 集 群 中 的 其 它 节 点 接 管 处 于 挂 起 状 态 节 点 的 资 源 要 解 决 此 问 题 需 要 解 决 与 之 相 关 的 几 个 性 能 问 题 1 调 整 系 统 I O pacing 2 增 加 信 息 同 步 syncd 的 频 率 3 增 加 通 信 子 系 统 使 用 的 内 存 量 4 更 改 错 误 探 测 速 率 调 整 系 统 使 用 I O 的 步 调 使 用 I O pacing 调 整 系 统 使 得 在 大 量 写 操 作 时 系 统 资 源 的 分 配 更 合 理 为 HACMP 集 群 激 活 I O Pacing 是 必 要 的 尤 其 是 在 集 群 中 可 能 会 有 大 量 磁 盘 数 据 块 写 操 作 的 时 侯 按 下 述 步 骤 修 改 I O Pacing 设 置 smitty hacmp Cluster Configuration Advanced Performance Tuning Parameters Change Show I O Pacing 修 改 HIGH water mark for pending write I Os per file 域 推 荐 值 为 33 可 用 值 在 0 32767 之 间 8 修 改 LOW watermark for pending write I Os per file 域 推 荐 值 为 24 可 用 值 在 0 32767 之 间 不 同 的 系 统 以 上 两 个 值 也 不 同 修 改 上 两 个 值 只 能 稍 微 减 少 写 次 数 通 常 能 够 解 决 上 述 问 题 增 大 syncd 的 运 行 频 率 增 加 syncd 的 运 行 频 率 使 缺 省 60 秒 运 行 一 次 变 为 30 秒 20 秒 或 10 秒 运 行 一 次 这 样 可 以 强 迫 增 加 I O 刷 新 速 率 并 减 少 由 于 沉 重 的 I O 流 量 触 发 无 反 映 开 关 的 可 能 性 按 下 述 步 骤 修 改 syncd 运 行 频 率 设 置 smitty hacmpCluster Configuration Advanced Performance Tuning Parameters Change Show syncd frequency 修 改 syncd frequency in seconds 域 推 荐 值 为 10 秒 可 用 值 在 0 32767 之 间 增 加 通 信 子 系 统 可 用 的 内 存 量 如 果 运 行 命 令 netstat m 发 现 请 求 mbuf 被 拒 绝 或 运 行 命 令 errpt 发 现 LOW MBUFS 错 误 则 应 增 加 网 络 参 数 thewall 的 值 Thewall 的 缺 省 值 为 25 的 系 统 实 内 存 可 以 将 其 增 加 为 50 的 系 统 实 内 存 按 下 述 步 骤 修 改 thewall 值 的 设 置 vi etc 在 此 文 件 的 末 尾 加 入 no o thewall xxxxxxxxxx 是 指 你 希 望 设 置 的 供 通 信 子 系 统 使 用 的 实 内 存 值 如 no o thewall 10240 修 改 错 误 探 测 速 率 9 如 果 激 活 I O Pacing 或 增 加 Syncd 运 行 频 率 不 能 解 决 无 反 映 开 关 不 能 重 置 的 问 题 时 则 修 改 错 误 探 测 速 率 将 其 值 该 为 Slow 这 样 可 以 延 长 一 个 挂 起 节 点 调 用 无 反 映 开 关 之 前 以 及 接 管 节 点 探 测 到 节 点 故 障 并 获 得 挂 起 节 点 资 源 之 前 所 需 的 时 间 注 意 在 完 成 上 述 步 骤 之 前 I O Pacing 必 须 先 激 活 这 是 因 为 修 改 此 设 置 会 调 整 I O 数 据 的 传 输 量