《多重线性回归》PPT课件

多 重 线 性 回 归 分 析医 学 统 计 学 教 研 室柳 伟 伟 2 一 、 方 法 简 介 1.2 概 念 用 回 归 方 程 定 量 地 刻 画 一 个 因 变 量 与 多 个 自变 量 之 间 的 线 性 依 存 关 系 ， 称 为 多 重 线 性 回 归 分析 （ multiple linear regression analysis） 。 自 变 量 是 相 互 独 立 的 连 续 型 变 量 或 分 类 变 量 。 一 、 方 法 简 介 1.3 数 据 结 构 表 1 进 行 多 重 线 性 回 归 分 析 资 料 的 数 据 结 构 3 编 号 X1 X2 Xk Y1 X11 X12 X1k Y12 X21 X22 X2k Y2： ： ： ： ：n X n1 Xn2 Xnk Yn 4 二 、 基 本 原 理 2.1 原 理 简 介 多 重 线 性 回 归 模 型 ： Y=b0+b1X1+b2X2+bkXk+e 其 中 ， bj (j=0, 1 , 2 , k)为 未 知 参 数 ， e为 随 机误 差 项 。 5 二 、 基 本 原 理 2.1 原 理 简 介 多 重 线 性 回 归 模 型 中 包 含 多 个 自 变 量 ， 它 们同 时 对 因 变 量 Y 发 生 作 用 。 若 要 考 察 一 个 自 变 量 对 Y 的 影 响 ， 就 必 须 假设 其 他 自 变 量 保 持 不 变 。 6 二 、 基 本 原 理 2.1 原 理 简 介 因 此 ， 多 重 线 性 回 归 模 型 中 的 回 归 系 数 为 偏回 归 系 数 。 它 反 映 的 是 当 模 型 中 的 其 他 自 变 量 不 变 时 ，其 中 一 个 自 变 量 对 因 变 量 Y 的 均 值 的 影 响 。 7 二 、 基 本 原 理 2.2 前 提 条 件 多 重 线 性 回 归 分 析 要 求 资 料 满 足 线 性(Linear)、 独 立 性 (Independence)、 正 态 性(Normality)和 方 差 齐 性 (Equal variance) 。 除 此 之 外 ， 还 要 求 多 个 自 变 量 之 间 相 关 性 不要 太 强 。 8 二 、 基 本 原 理 2.2 前 提 条 件线 性 指 自 变 量 与 因 变 量 之 间 的 关 系 是 线 性 的独 立 性 指 各 观 测 值 之 间 是 相 互 独 立 的正 态 性 指 自 变 量 取 不 同 值 时 ， 因 变 量 服 从 正 态 分 布方 差 齐 性 指 自 变 量 取 不 同 值 时 ， 因 变 量 的 方 差 相 等 9 三 、 分 析 步 骤 1. 基 本 任 务 求 出 模 型 中 参 数 的 估 计 值 ， 对 模 型 和 参 数 进行 假 设 检 验 ； 对 自 变 量 进 行 共 线 性 诊 断 ， 对 观 测 值 进 行 异常 点 诊 断 ； 结 合 统 计 学 知 识 和 专 业 知 识 ， 对 回 归 方 程 进行 合 理 的 解 释 ， 并 加 以 应 用 。 10 三 、 分 析 步 骤 2. 具 体 步 骤 2.1 回 归 参 数 估 计 多 重 线 性 回 归 分 析 的 参 数 估 计 ， 常 采 用 最 小二 乘 法 (OLS)进 行 。 该 方 法 使 残 差 平 方 和 达 到 最小 ， 从 而 得 出 模 型 参 数 估 计 值 表示Y的估计值 kk XbXbXbbY + 22110Y 11 三 、 分 析 步 骤 2. 具 体 步 骤 2.2 模 型 检 验 根 据 方 差 分 析 的 思 想 ， 将 总 的 离 均 差 平 方 和SS总 分 解 为 回 归 平 方 和 SS回 和 残 差 平 方 和 SS残 两 部分 。 SS 总 的 自 由 度 为 n-1， SS回 的 自 由 度 为 k， SS残的 自 由 度 为 n-k-1。 12 三 、 分 析 步 骤 2. 具 体 步 骤 2.2 模 型 检 验 2 22 SS y ySS y ySS y y 总回残 13 三 、 分 析 步 骤 2. 具 体 步 骤 2.2 模 型 检 验 模 型 的 显 著 性 检 验 步 骤 为 ：第 一 步 ， 建 立 检 验 假 设 。H 0： b1=b2= =bk=0H 1: b1, b2, , bk不 同 时 为 0 14 三 、 分 析 步 骤 2. 具 体 步 骤 2.2 模 型 检 验 第 二 步 ， 计 算 统 计 量 F的 值 。 , 1/ / 1 k n kSS kF FSS n k 回残 15 三 、 分 析 步 骤 2. 具 体 步 骤 2.2 模 型 检 验 第 三 步 ， 确 定 P值 ， 下 统 计 学 结 论 。 根 据 检 验 统 计 量 F的 值 和 自 由 度 ， 确 定 其 对应 的 P值 。 若 Pa， 则 接 受 H 0， 认 为 回 归 模 型 的 系数 全 部 为 0； 若 P ta/2(n-k-1)或 t - ta/2(n-k-1)， 则 Pa。 此时 ， 拒 绝 H 0， 接 受 H 1， 认 为 该 回 归 系 数 不 等 于 0。反 之 ， 则 接 受 H 0， 认 为 该 回 归 系 数 为 0。 22 三 、 分 析 步 骤 2. 具 体 步 骤 2.4 变 量 筛 选 由 例 1的 分 析 结 果 可 知 ， 不 是 所 有 的 自 变 量 对因 变 量 的 作 用 都 有 统 计 学 意 义 。 故 需 要 找 到 一 个 较 好 的 回 归 方 程 ， 使 之 满 足 ：方 程 内 的 自 变 量 对 回 归 都 有 统 计 学 意 义 ， 方 程 外的 自 变 量 对 回 归 都 无 统 计 学 意 义 。 23 三 、 分 析 步 骤 2. 具 体 步 骤 2.4 变 量 筛 选 这 就 是 自 变 量 的 选 择 问 题 ， 或 称 为 变 量 筛 选 。选 择 时 ， 一 要 尽 可 能 地 不 漏 掉 重 要 的 自 变 量 ； 二 要 尽 可 能 地 减 少 自 变 量 的 个 数 ， 保 持 模 型的 精 简 。 24 三 、 分 析 步 骤 2. 具 体 步 骤 2.4 变 量 筛 选 常 用 的 变 量 筛 选 方 法 有 以 下 8种 ： 前 进 法 后 退 法 逐 步 回 归 法 最 大 R2增 量 法 最 小 R 2增 量 法 R2选 择 法 修 正 R2选 择 法 Mallows Cp选 择 法 25 三 、 分 析 步 骤 2.4.1 前 进 法 (FORWARD) 回 归 方 程 中 变 量 从 无 到 有 依 次 选 择 一 个 自 变量 进 入 回 归 方 程 ， 并 计 算 该 变 量 对 应 的 F统 计 量及 P值 。 当 P小 于 纳 入 标 准 (规 定 的 选 变 量 进 入 方 程 的临 界 水 平 )， 则 该 变 量 入 选 ， 否 则 不 能 入 选 。 26 三 、 分 析 步 骤 2.4.1 前 进 法 当 回 归 方 程 中 变 量 少 时 某 变 量 不 符 合 入 选 标准 ， 但 随 着 回 归 方 程 中 变 量 逐 次 增 多 时 ,该 变 量 就可 能 符 合 入 选 标 准 ； 这 样 直 到 没 有 变 量 可 入 选 为止 。 具 体 而 言 ， 是 从 仅 含 常 数 项 (即 截 距 项 )的 最简 单 模 型 开 始 ， 逐 步 在 模 型 中 添 加 自 变 量 。 27 三 、 分 析 步 骤 2.4.1 前 进 法 局 限 性 ： 纳 入 标 准 取 值 小 时 ， 可 能 没 有 一 个 变 量 能 入选 ； 纳 入 标 准 取 值 大 时 ， 开 始 选 入 的 变 量 后 来 在新 条 件 下 不 再 进 行 检 验 ， 因 而 不 能 剔 除 后 来 变 得无 统 计 学 意 义 的 变 量 。 28 三 、 分 析 步 骤 2.4.2 后 退 法 (BACKWARD) 从 模 型 中 包 含 全 部 自 变 量 开 始 ， 计 算 留 在 回归 方 程 中 的 各 个 自 变 量 所 产 生 的 F统 计 量 和 P值 ，当 P值 小 于 排 除 标 准 (规 定 的 从 方 程 中 剔 除 变 量 的临 界 水 准 )则 将 此 变 量 保 留 在 方 程 中 。 29 三 、 分 析 步 骤 2.4.2 后 退 法 否 则 ， 从 最 大 的 P值 所 对 应 的 自 变 量 开 始 逐一 剔 除 ， 直 到 回 归 方 程 中 没 有 变 量 可 以 被 剔 除 时为 止 。 30 三 、 分 析 步 骤 2.4.2 后 退 法 局 限 性 ： 排 除 标 准 大 时 ， 任 何 一 个 自 变 量 都 不 能 被 剔除 ； 排 除 标 准 小 时 ， 开 始 被 剔 除 的 自 变 量 后 来 在新 条 件 下 即 使 变 得 对 因 变 量 有 较 大 的 贡 献 了 ， 也不 能 再 次 被 选 入 回 归 方 程 并 参 与 检 验 。 31 三 、 分 析 步 骤 2.4.3 逐 步 回 归 法 (STEPWISE) 此 法 是 前 进 法 和 后 退 法 的 结 合 。 回 归 方 程 中 的 变 量 从 无 到 有 像 前 进 法 那 样 ，根 据 F统 计 量 和 P值 大 小 按 纳 入 标 准 水 平 决 定 该 自变 量 是 否 入 选 。 32 三 、 分 析 步 骤 2.4.3 逐 步 回 归 法 (STEPWISE) 当 回 归 方 程 选 入 自 变 量 后 ， 又 像 后 退 法 那 样 ，根 据 F统 计 量 和 P值 按 排 除 标 准 水 平 剔 除 无 统 计 学意 义 的 各 自 变 量 ， 依 次 类 推 。 这 样 直 到 没 有 自 变 量 可 入 选 ， 也 没 有 自 变 量可 被 剔 除 时 ， 则 停 止 逐 步 筛 选 过 程 。 33 三 、 分 析 步 骤 2.4.3 逐 步 回 归 法 逐 步 回 归 法有 无 符 合 纳 入标 准 的 新 变 量 纳 入 新 变 量有 无 符 合 排 除标 准 的 变 量 剔 除完 成无有无 有 34 三 、 分 析 步 骤 2.4.3 逐 步 回 归 法 逐 步 回 归 法 比 前 进 法 和 后 退 法 都 能 更 好 地 选出 变 量 构 造 模 型 ， 但 它 也 有 局 限 性 ： 其 一 ， 当 有 m个 变 量 入 选 后 ， 选 第 m 1个 变量 时 ， 对 它 来 说 ， 前 m个 变 量 不 一 定 是 最 佳 组 合 ； 其 二 ， 选 入 或 剔 除 自 变 量 仅 以 F值 和 P值 作 标准 ， 完 全 没 考 虑 其 它 标 准 。 35 三 、 分 析 步 骤 2.4.5 变 量 筛 选 方 法 的 选 择 究 竟 哪 一 种 筛 选 变 量 的 方 法 最 好 ？ 这 个 问 题没 有 绝 对 的 定 论 。 一 般 来 说 ， 逐 步 回 归 法 和 最 优 回 归 子 集 法 较好 。 对 于 一 个 给 定 的 资 料 ， 可 试 用 多 种 变 量 筛 选的 方 法 ， 结 合 以 下 几 条 判 断 原 则 ， 从 中 选 择 最 佳者 。 36 三 、 分 析 步 骤 2.4.5 变 量 筛 选 方 法 的 选 择 其 一 ， 拟 合 的 回 归 方 程 在 整 体 上 有 统 计 学 意义 ； 其 二 ， 回 归 方 程 中 各 回 归 参 数 的 估 计 值 的 假设 检 验 结 果 都 有 统 计 学 意 义 ； 其 三 ， 回 归 方 程 中 各 回 归 参 数 的 估 计 值 的 正负 号 与 其 后 的 变 量 在 专 业 上 的 含 义 相 吻 合 ； 37 三 、 分 析 步 骤 2.4.5 变 量 筛 选 方 法 的 选 择 其 四 ， 根 据 回 归 方 程 计 算 出 因 变 量 的 所 有预 测 值 在 专 业 上 都 有 意 义 。 其 五 ， 若 有 多 个 较 好 的 多 重 线 性 回 归 方 程时 ， 残 差 平 方 和 较 小 且 多 重 线 性 回 归 方 程 中 所含 的 自 变 量 的 个 数 又 较 少 者 为 最 佳 。 38 三 、 分 析 步 骤 2.5 模 型 拟 合 效 果 评 价 2.5.1 决 定 系 数 (R2) 即 复 相 关 系 数 的 平 方 ， 其 值 等 于 因 变 量 观 测值 与 预 测 值 之 间 简 单 相 关 系 数 的 平 方 。 计 算 公 式为 ： 总残总回 SSSSSSSSR 12 39 三 、 分 析 步 骤 2.5 模 型 拟 合 效 果 评 价 2.5.1 决 定 系 数 (R2) R2取 值 介 于 0到 1之 间 ， 其 含 义 为 自 变 量 能 够解 释 因 变 量 y变 异 的 百 分 比 。 R 2越 接 近 于 1， 说 明 线 性 回 归 对 实 际 数 据 的拟 合 程 度 越 好 。 40 三 、 分 析 步 骤 2.5 模 型 拟 合 效 果 评 价 2.5.2 校 正 决 定 系 数 (Rc2) 随 着 模 型 中 自 变 量 个 数 的 增 加 ， 决 定 系 数 R2将 不 断 增 大 ， 这 不 符 合 回 归 模 型 中 自 变 量 个 数 尽可 能 少 的 原 则 。 41 三 、 分 析 步 骤 2.5 模 型 拟 合 效 果 评 价 2.5.2 校 正 决 定 系 数 (Rc2) 故 在 评 价 两 个 包 含 不 同 个 数 自 变 量 的 回 归 模型 的 拟 合 效 果 时 ， 不 能 简 单 地 用 决 定 系 数 作 为 评价 标 准 。 此 时 ， 必 须 考 虑 回 归 模 型 中 自 变 量 个 数 的 影响 。 42 三 、 分 析 步 骤 2.5 模 型 拟 合 效 果 评 价 2.5.2 校 正 决 定 系 数 (Rc2) 构 造 校 正 决 定 系 数 ， 其 公 式 为 ： 其 中 ， n为 样 本 含 量 ， p为 模 型 中 自 变 量 个 数 。决 定 系 数 相 同 时 ， 自 变 量 个 数 越 多 ， Rc 2越 小 。 2 21=1- 1 11C MS nR RMS n p 误 差总 43 三 、 分 析 步 骤 2.5 模型拟合效果评价 2.5.3 剩余标准差s 即残差之标准差，计算公式为： 剩余标准差越小，说明回归模型的拟合效果越好。 1 knSSs 残 44 三 、 分 析 步 骤 2.5 模 型 拟 合 效 果 评 价 2.5.4 AIC信 息 准 则 该 准 则 由 日 本 学 者 赤 池 于 1973年 提 出 ， 广 泛应 用 于 时 间 序 列 分 析 中 自 回 归 阶 数 的 确 定 ， 多 重回 归 、 广 义 线 性 回 归 中 自 变 量 的 筛 选 以 及 非 线 性回 归 模 型 的 比 较 和 选 优 。 该 统 计 量 取 值 越 小 ， 反映 模 型 拟 合 效 果 越 好 。 45 三 、 分 析 步 骤 2.6 共 线 性 诊 断 多 重 线 性 回 归 分 析 中 ， 可 能 会 出 现 以 下 问 题 ：(1)回 归 方 程 的 检 验 有 统 计 学 意 义 ， 而 各 偏 回 归 系 数的 检 验 均 无 统 计 学 意 义 。(2)偏 回 归 系 数 的 估 计 值 大 小 或 其 符 号 与 实 际 情 况 和专 业 知 识 相 违 背 ， 难 以 解 释 。 46 三 、 分 析 步 骤 2.6 共 线 性 诊 断 多 重 线 性 回 归 分 析 中 ， 可 能 会 出 现 以 下 问 题 ：(3) 某 个 （ 些 ） 与 因 变 量 关 系 密 切 的 自 变 量 ， 因 为 参数 标 准 误 的 估 计 值 较 大 ， 相 应 t值 就 会 变 得 较 小 ，造 成 其 偏 回 归 系 数 无 统 计 学 意 义 。 47 三 、 分 析 步 骤 2.6 共 线 性 诊 断 导 致 这 些 问 题 的 原 因 可 能 有 ：(1)研 究 设 计 不 够 合 理 ； (2)资 料 收 集 存 在 问 题 ；(3)自 变 量 间 近 似 线 性 ； (4)数 据 中 存 在 异 常 点 ；(5)样 本 少 而 自 变 量 多 。 48 三 、 分 析 步 骤 2.6 共 线 性 诊 断 何 谓 多 重 共 线 性 ？ 自 变 量 间 的 近 似 线 性 关 系 ， 即 是 多 重 共 线 性 。 由 于 数 据 自 身 的 特 征 ， 回 归 模 型 中 的 自 变 量之 间 或 多 或 少 地 存 在 一 些 相 关 性 ， 这 违 反 了 自 变量 间 相 互 独 立 的 假 设 条 件 ， 称 为 多 重 共 线 性 。 49 三 、 分 析 步 骤 2.6 共 线 性 诊 断 多 重 共 线 性 的 分 类 ：(1)严 重 的 多 重 共 线 性 此 时 ， 自 变 量 之 间 存 在 着 较 高 甚 至 完 全 的 线性 相 关 关 系 ， 虽 然 最 小 二 乘 法 仍 可 应 用 ， 但 由 于观 测 误 差 的 稳 定 性 变 差 ， 所 得 的 估 计 值 可 能 面 目全 非 。 这 类 情 况 较 为 少 见 。 50 三 、 分 析 步 骤 2.6 共 线 性 诊 断 多 重 共 线 性 的 分 类 ：(2)某 种 程 度 的 多 重 共 线 性 此 时 ， 最 小 二 乘 法 仍 可 获 得 参 数 的 无 偏 估 计值 ， 但 参 数 的 方 差 估 计 值 将 变 得 很 大 ， 导 致 估 计精 度 下 降 ， 且 无 法 判 断 自 变 量 对 因 变 量 的 影 响 程度 。 51 三 、 分 析 步 骤 2.7 异 常 点 诊 断 2.7.1 异 常 点 对 因 变 量 的 预 测 值 影 响 特 别 大 ， 甚 至 容 易 导致 相 反 结 论 的 观 测 点 ， 称 为 异 常 点 。 异 常 点 的 诊 断 ， 可 采 用 学 生 化 残 差 统 计 量 、Cooks D统 计 量 。 52 三 、 分 析 步 骤 2.8 自 变 量 作 用 大 小 评 价 由 于 自 变 量 量 纲 不 同 ， 不 能 直 接 根 据 原 始 数据 计 算 得 来 的 偏 回 归 系 数 来 评 价 各 自 变 量 对 因 变量 的 影 响 大 小 。 也 不 能 依 据 P 值 来 判 断 自 变 量 对 因 变 量 的 影响 大 小 。 因 为 P 值 的 大 小 ， 不 表 示 自 变 量 的 影 响强 弱 ， 仅 表 示 认 为 它 有 影 响 的 可 能 性 有 多 大 。 53 三 、 分 析 步 骤 2.8 自 变 量 作 用 大 小 评 价 先 对 原 始 数 据 进 行 标 准 化 变 换 ， 然 后 再 计 算偏 回 归 系 数 ， 此 时 的 偏 回 归 系 数 称 为 标 准 化 偏 回归 系 数 。 标 准 化 偏 回 归 系 数 绝 对 值 越 大 ， 说 明 该 自 变量 对 因 变 量 的 影 响 越 大 。 )( YjjYYjjjj SSbllbb 自变量的标准差因变量的标准差