《多元线性回归》PPT课件

1 第 十 五 章 多 元 线 性 回 归 分 析（ multiple linear regression）陆 健 副 教 授 2021-4-23 2 表 15-2 27名 糖 尿 病 患 者 的 血 糖 及 有 关 变 量 的 测 量 结 果序 号 总 胆 固 醇 甘 油 三 酯 胰 岛 素 糖 化 血 红 蛋 白 血 糖X1 X2 X3 X4 Y1 5.68 1.90 4.53 8.2 11.22 3.79 1.64 7.32 6.9 8.8 26 5.84 0.92 8.61 6.4 13.327 3.84 1.20 6.45 9.6 10.4 3 多 元 线 性 回 归 模 型0 1 1 2 2 m mY X X X e 偏 回 归 系 数 (partial regression coefficient)j(j 1,2, ,n)表 示 在 其 他 自 变 量 保 持 不 变 时 ， Xj增 加 或 减 少 一 个 单 位 时 Y的 平 均 变 化 量 。残 差 (residual)e表 示 去 除 m个 自 变 量 对 Y影 响 后 的 随 机 误 差 。 4 多 元 线 性 回 归 模 型 的 应 用 需 要 满 足 如 下 条 件n Y与 X1， X2， ， Xm之 间 具 有 线 性 关 系 。n 各 例 观 察 值 Yi（ i=1， 2， ， n)相 互 独 立 。n 残 差 e服 从 均 数 为 0， 方 差 为 2的 正 态 分 布 ， 等价 于 对 任 意 一 组 自 变 量 X1， X2， ， Xm值 ， 应变 量 Y具 有 相 同 方 差 ， 并 且 服 从 正 态 分 布 。 5 多 元 线 性 回 归 方 程 0 1 1 2 2 m mY b b X b X b X 0 1 1 2 2 m mY X X X e （ 最 小 二 乘 法 ） 6 多 元 线 性 回 归 方 程 的 建 立11 1 12 2 1 121 1 22 2 2 2 1 1 2 2 m m Ym m Ym m mm m mYl b l b l b ll b l b l b ll b l b l b l 0 1 1 2 2( )m mb Y b X b X b X 本 例 1 2 3 4 5.9433 0.1424 0.3515 0.2706 0.6382Y X X X X 7 多 元 线 性 回 归 方 程 的 建 立n 本 例n 由 上 面 的 方 程 可 以 看 出 ： 总 胆 固 醇 、 甘 油 三 酯和 糖 化 血 红 蛋 白 的 升 高 会 引 起 血 糖 的 升 高 ， 而胰 岛 素 的 升 高 会 引 起 血 糖 的 下 降 。1 2 3 4 5.9433 0.1424 0.3515 0.2706 0.6382Y X X X X 8 多 元 线 性 回 归 方 程 的 假 设 检 验 及 其 评 价n 将 回 归 方 程 总 所 有 自 变 量 作 为 一 个 整 体 来 检 验 它们 与 应 变 量 之 间 是 否 具 有 线 性 关 系 （ 方 差 分 析 法 、复 相 关 系 数 ） ；n 对 回 归 方 程 的 预 测 或 解 释 能 力 作 出 综 合 评 价 （ 决定 系 数 ） ；n 在 此 基 础 上 进 一 步 对 各 个 自 变 量 的 重 要 性 作 出 评价 （ 偏 回 归 平 方 和 、 t检 验 、 标 准 回 归 系 数 ） 。 9 方 差 分 析 步 骤 建 立 假 设n H 0： 自 变 量 整 体 与 应 变 量 没 有 回 归 关 系n H 1： 自 变 量 整 体 与 应 变 量 有 回 归 关 系n 确 定 检 验 水 准 ：1 2 0m 0.05 10 方 差 分 析 步 骤 计 算 检 验 统 计 量SS SS SS 总 回 归 残 差 22 2 ( ) ( ) ( )Y Y Y Y Y Y 1 1 2 2 Y Y m mY j jYSS bl b l b l b l m 回 归 1SS SS SS n m 总残 差 回 归/ / /( 1)SS SS mF SS SS n m 回 归 回 归 回 归残 差 残 差 残 差 11 方 差 分 析 步 骤 计 算 检 验 统 计 量表 15-4 例 15-1多 元 线 性 回 归 方 差 分 析 表变 异 来 源 自 由 度 SS MS F P总 26 222.5519回 归 4 133.7107 33.4277 8.28 0.05残 差 22 88.8412 4.0382 12 方 差 分 析 步 骤 结 论n 结 论 ： 在 检 验 水 准 上 ， 拒 绝 H 0， 接 受H 1， 自 变 量 整 体 和 应 变 量 之 间 有 回 归 关 系 ，可 以 认 为 所 拟 合 的 回 归 方 程 具 有 统 计 学 意 义 。0.05 13 决 定 系 数 R2n 计 算 公 式 ： R2 SS回 归 /SS总 1- SS残 差 /SS总n 用 于 说 明 自 变 量 整 体 能 够 解 释 应 变 量 变 化的 百 分 比 ， 即 模 型 对 数 据 的 拟 合 程 度 。n 0R21， 其 值 越 接 近 1， 说 明 拟 合 程 度 越好 ； 越 接 近 0， 说 明 拟 合 程 度 越 差 。 14 决 定 系 数 R2n 本 例 ： R2 133.7107/222.5519 0.6008n 说 明 自 变 量 （ 血 糖 ） 的 变 化 60 可 以 用总 胆 固 醇 、 甘 油 三 酯 、 胰 岛 素 和 糖 化 血红 蛋 白 的 变 化 来 解 释 。 15 复 相 关 系 数 (multiple correlation coefficient)n 计 算 公 式 ：n 可 用 来 度 量 应 变 量 与 自 变 量 整 体 之 间 的 线 性相 关 程 度 。n 如 果 自 变 量 只 有 一 个 ， 则 复 相 关 系 数 等 于 直线 相 关 系 数 。 n 本 例 ： 2R R0.6008 0.7751R 16 各 自 变 量 的 假 设 和 评 价n 对 每 一 个 自 变 量 的 作 用 进 行 检 验 和 衡 量 它 们 对应 变 量 Y的 作 用 大 小 。n 常 用 方 法 ： 偏 回 归 平 方 和 t检 验 法 标 准 化 回 归 系 数 17 偏 回 归 平 方 和n 某 自 变 量 的 偏 回 归 平 方 和 表 示 模 型 中 含 有 其 他m 1个 自 变 量 的 条 件 下 该 自 变 量 对 Y的 回 归 贡献 。 相 当 于 从 回 归 方 程 中 剔 除 该 自 变 量 后 所 引起 的 回 归 平 方 和 的 减 少 量 。 或 者 说 在 m 1个自 变 量 的 基 础 上 新 增 加 该 自 变 量 引 起 回 归 平 方和 的 增 加 量 。n m 1个 自 变 量 对 Y的 回 归 平 方 和 由 重 新 建 立 的新 方 程 得 到 。 18 表 15-8 例 15-1数 据 回 归 分 析 的 部 分 中 间 结 果 回 归 方 程 中 的 自 变 量 SS回 归 SS残 差 SS回 归 （ Xj）X1,X2,X3,X4 133.7107 88.8412X2,X3,X4 133.0978 89.4540 0.6129(X1)X1,X3,X4 121.7480 100.8038 11.9627(X2)X1,X2,X4 113.6472 108.9047 20.0635(X 3)X1,X2,X3 105.9168 116.6351 27.7939(X4) 19 偏 回 归 平 方 和 的 检 验 步 骤 建 立 假 设n H 0： 自 变 量 与 应 变 量 没 有 回 归 关 系n H 1： 自 变 量 与 应 变 量 有 回 归 关 系n 确 定 检 验 水 准 ： 0j 0.05 0j 20 偏 回 归 平 方 和 的 检 验 步 骤 计 算 检 验 统 计 量 1 0.6129/1 0.15288.8412/(27 4 1)F 2 11.9627 /1 2.96288.8412/(27 4 1)F 3 20.0635/1 4.96888.8412/(27 4 1)F 4 27.7939/1 6.88388.8412/(27 4 1)F ( )/ ( ) ( )/1/ /( 1)j j jSS X X SS XF SS SS n m 回 归 回 归 回 归残 差 残 差 残 差 21 偏 回 归 平 方 和 的 检 验 步 骤 结 论n F0.05,1,22=4.30n F10.05 F20.05n 结 论 ： 在 水 准 处 ， 不 能 拒 绝 总 胆 固 醇 （ X1）和 甘 油 三 酯 （ X2） 的 H 0， 不 能 认 为 这 两 个 因 素 与 血糖 有 回 归 关 系 。0.05 22 偏 回 归 平 方 和 的 检 验 步 骤 结 论n F3F0.05,1,22 P30.05 F4F0.05,1,22 P40.05n 结 论 ： 在 水 准 处 ， 拒 绝 胰 岛 素 （ X3） 和 糖 化血 红 蛋 白 （ X4） 的 H 0， 接 受 H 1， 可 以 认 为 两 者 和 血糖 有 回 归 关 系 ， 糖 化 血 红 蛋 白 的 回 归 贡 献 更 大 （ 偏 回归 平 方 和 越 大 ， 回 归 贡 献 越 大 ） 。0.05 23 t检 验 法n 等 价 于 偏 回 归 平 方 和 检 验 ；n 计 算 更 为 复 杂 ；n 同 一 资 料 ， 不 同 自 变 量 的 t值 可 以 相 互 比 较 ， t的 绝 对 值 越 大 ， 说 明 该 自 变 量 对 应 变 量 Y的 回归 所 起 的 作 用 越 大 。 24 标 准 化 回 归 系 数n 自 变 量 的 测 量 单 位 各 不 相 同 ， 单 从 各 偏 回 归系 数 的 绝 对 值 大 小 无 法 分 析 各 自 变 量 对 应 变量 Y的 影 响 程 度 。n 将 原 始 数 据 标 准 化 的 公 式 ： j jj jX XX S 25 标 准 化 回 归 系 数n 将 应 变 量 和 自 变 量 都 转 换 成 标 准 化 值 后 ， 再计 算 得 到 的 回 归 方 程 称 为 标 准 化 回 归 方 程 ，相 应 的 回 归 系 数 称 为 标 准 化 回 归 系 数 。n 标 准 化 回 归 系 数 的 绝 对 值 越 大 ， 说 明 对 应 变量 的 作 用 越 大 。 n 标 准 化 回 归 系 数 的 计 算 公 式 ： jj jj j jYY Yl Sb b bl S 26 标 准 化 回 归 系 数n 结 果 ： 对 血 糖 影 响 大 小 的 顺 序 依 次 为 血 红 蛋白 （ X4） 、 胰 岛 素 （ X3） 、 甘 油 三 酯 （ X2）和 总 胆 固 醇 （ X 1） 。 2 2.57480.3515 0.30932.9257b 1 1.59340.1424 0.07762.9257b 3 3.67060.2706 0.33952.9257b 4 1.82340.6382 0.39772.9257b 27 第 二 节 自 变 量 选 择 方 法n 基 本 思 路 ： 尽 可 能 将 回 归 效 果 显 著 的 自 变 量 选 入 回 归 方程 中 ， 将 作 用 不 显 著 的 自 变 量 排 除 在 方 程 外 ，以 此 提 高 模 型 的 精 度 。 28 自 变 量 选 择 方 法n 全 局 择 优 法 校 正 决 定 系 数 选 择 法 、 Cp选 择 法n 逐 步 选 择 法 前 进 法 、 后 退 法 、 逐 步 回 归 法 29 全 局 择 优 法 校 正 决 定 系 数 选 择 法n 自 变 量 个 数 越 多 ， 未 校 正 的 决 定 系 数 越 大 。n 校 正 决 定 系 数 克 服 了 自 变 量 个 数 的 影 响 ， 能更 好 的 比 较 不 同 自 变 量 对 应 变 量 的 作 用 。n 计 算 公 式 ： 2 2 11 (1 ) 11C MSnR R n p MS 残 差总 30 全 局 择 优 法 Cp选 择 法n 计 算 公 式 ：n (SS残 差 )p是 由 p(pm)个 自 变 量 做 回 归 时 的 误 差平 方 和 ， (MS残 差 )m是 包 含 全 部 m个 自 变 量 的 回归 模 型 中 得 到 的 残 差 均 方 。( ) 2( 1)( )pp mSSC n pMS 残 差残 差 31 全 局 择 优 法 Cp选 择 法n 选 择 方 程 时 应 选 择 Cp值 最 接 近 p+1的 回 归 方 程为 最 优 方 程 。n 注 意 ： 当 p=m时 ， 必 有 Cm=m+1， 所 有 这 种 情况 不 应 在 选 择 的 范 围 内 。 32 表 15-6 例 15-1的 所 有 回 归 方 程 的 和 Cp值方 程 中 的 自 变 量 Cp 方 程 中 的 自 变 量 CpX2， X3， X4 0.546 3.15 X2， X3 0.408 9.14X1， X2， X3， X4 0.528 5.00 X1， X3 0.375 10.78X1， X3， X4 0.488 5.96 X4 0.347 11.63X1， X2， X4 0.447 7.97 X1 0.284 14.92X 1， X4 0.441 7.42 X1， X2 0.275 15.89X2， X4 0.440 7.51 X3 0.231 17.77X3， X4 0.435 7.72 X2 0.179 20.53X1， X2， X3 0.408 9.882CR 2CR 2CR 33 逐 步 选 择 法 前 进 法 （ forward）n 将 变 量 逐 个 选 入 方 程 中 ， 直 到 无 法 再 引 入 。n 步 骤 1： 计 算 应 变 量 和 每 一 个 自 变 量 的 直 线 回归 方 程 ， 将 回 归 平 方 和 最 大 且 经 F检 验 有 意 义的 自 变 量 选 入 方 程 。 34 逐 步 选 择 法 前 进 法 （ forward）n 步 骤 2： 将 其 他 自 变 量 逐 个 引 入 方 程 ， 得 到 m 1个 含 有 两 个 自 变 量 的 回 归 方 程 ， 计 算 新 进入 方 程 的 自 变 量 的 偏 回 归 平 方 和 ， 并 对 最 大 偏回 归 平 方 和 进 行 F检 验 ， 如 果 有 意 义 ， 则 该 自变 量 就 进 入 方 程 。n 依 此 类 推 ， 直 到 没 有 自 变 量 可 以 引 入 为 止 。 35 逐 步 选 择 法 后 退 法 （ backward）n 先 将 所 有 变 量 选 入 方 程 ， 然 后 逐 步 剔 除 无 统 计学 意 义 的 自 变 量 。n 被 剔 除 的 自 变 量 是 方 程 中 偏 回 归 平 方 和 最 小 ，且 经 F检 验 无 统 计 学 意 义 者 。n 多 次 重 复 剔 除 过 程 ， 直 到 无 自 变 量 会 被 剔 除 为止 。 36 逐 步 选 择 法 逐 步 回 归 法 (stepwise)n 将 前 进 法 和 后 退 法 结 合 形 成 的 一 种 方 法 。n 首 先 用 前 进 法 选 择 入 选 的 自 变 量 ， 然 后 对 进 入方 程 的 自 变 量 用 后 退 法 选 择 剔 除 的 自 变 量 。n 入 选 和 剔 除 的 标 准 可 以 选 择 相 同 或 不 同 的 检 验水 准 ， 一 般 入 选 标 准 小 于 或 等 于 剔 除 标 准 。 37 表 15-7 例 15-1的 逐 步 回 归 过 程步 骤 引 入变 量 数 剔 除变 量 数 留 在 方 程中 变 量 数 R2 F P1 X4 1 0.372 14.788 0.00072 X1 2 0.484 5.244 0.03113 X3 3 0.547 3.185 0.08754 X 2 4 0.601 2.962 0.09335 X3 3 0.598 0.152 0.70060.10 0.15 入 剔（ ， ） 38 “最 优 ” 回 归 方 程n 结 果 表 明 ： 血 糖 的 变 化 与 甘 油 三 酯 、 胰 岛 素 和 糖 化血 红 蛋 白 有 线 性 关 系 。 其 中 甘 油 三 酯 和 糖 化 血 红 蛋白 的 升 高 可 引 起 血 糖 升 高 ， 而 胰 岛 素 升 高 则 引 起 血糖 下 降 。 n 从 标 准 化 回 归 系 数 来 看 ， 糖 化 血 红 蛋 白 对 血 糖 的 影响 最 大 。 2 3 4 6.4996 0.4023 0.2871 0.6632Y X X X 39 多 元 线 性 回 归 的 应 用n 影 响 因 素 分 析 （ 控 制 混 杂 因 素 ）n 估 计 与 预 测n 统 计 控 制 40 多 元 线 性 回 归 应 用 的 注 意 事 项n 指 标 的 数 量 化 应 变 量 ： 一 般 要 求 为 连 续 性 变 量 自 变 量 ： 连 续 性 变 量 、 分 类 变 量 、 有 序 变 量 连 续 性 变 量 ： 满 足 线 性 关 系 (变 量 转 换 ) 分 类 变 量 ： 转 换 成 哑 变 量 有 序 变 量 ： 按 连 续 性 变 量 处 理 (变 量 较 多 ) 转 换 成 哑 变 量 (变 量 较 少 ) 41 多 元 线 性 回 归 应 用 的 注 意 事 项n 样 本 含 量 1、 样 本 含 量 应 该 为 变 量 数 的 5 10倍 2、 G reen经 验 公 式 ： 2 28(1 )/ ( 1)n R R m 42 多 元 线 性 回 归 应 用 的 注 意 事 项n 不 能 盲 目 信 任 逐 步 回 归 的 结 果 ；n “ 最 优 ” 方 程 并 不 一 定 是 最 好 ；n 调 整 入 选 和 剔 除 标 准 会 改 变 入 选 变 量 的 数 目 ；n 选 择 自 变 量 理 想 的 方 法 是 专 业 知 识 和 统 计 检 验相 结 合 的 方 法 。 43 多 元 线 性 回 归 应 用 的 注 意 事 项n 多 重 共 线 性 ： 一 些 自 变 量 之 间 存 在 较 强 的 线 性关 系 。 此 时 ， 采 用 最 小 二 乘 法 建 立 回 归 方 程 可能 会 引 起 一 些 不 良 后 果 。n 消 除 多 重 共 线 性 的 方 法 ： 剔 除 某 些 造 成 共 线 性 的 自 变 量 将 多 个 具 有 共 线 性 的 变 量 合 成 一 个 新 变 量 逐 步 回 归 法 44 多 元 线 性 回 归 应 用 的 注 意 事 项n 偏 相 关 系 数 ： 表 示 在 一 组 变 量 中 ， 任 意 两 个变 量 在 其 他 变 量 固 定 不 变 时 ， 它 们 之 间 相 关的 密 切 程 度 和 方 向 。 或 者 说 ， 扣 除 其 他 变 量对 它 们 的 影 响 后 ， 两 个 变 量 之 间 的 线 性 相 关情 况 。n 偏 相 关 系 数 的 计 算 ：n 偏 相 关 系 数 的 符 号 同 回 归 系 数 的 符 号 。 总回SSXSSr pXXXYX )( 1,| 321 45 多 元 线 性 回 归 应 用 的 注 意 事 项n 当 某 一 自 变 量 对 应 变 量 的 作 用 大 小 与 另 一 个 自变 量 的 取 值 有 关 时 ， 则 表 示 两 个 自 变 量 有 交 互作 用 。n 有 无 交 互 作 用 的 判 断 主 要 来 自 专 业 知 识 。n 检 验 交 互 作 用 可 将 在 方 程 中 加 入 两 个 变 量 的 乘积 项 。 46 多 元 线 性 回 归 应 用 的 注 意 事 项n 残 差 ： 应 变 量 观 察 值 和 根 据 方 程 所 得 的 应 变量 估 计 值 之 间 的 差 值 ：n 残 差 分 析 （ residual analysis） 是 检 验 资 料 是否 符 合 模 型 条 件 的 一 个 有 用 的 工 具 。n 标 准 化 残 差 ： ii ee MS 残 差 i i ie Y Y 47 多 元 线 性 回 归 应 用 的 注 意 事 项n 残 差 分 析 图 ： 以 标 准 化 残 差 为 纵 坐 标 ， 以 应 变量 的 估 计 值 为 横 坐 标 ， 也 可 以 某 一 自 变 量 的 值为 横 坐 标 。n 如 果 散 点 均 匀 分 布 在 纵 坐 标 为 “ 0”的 横 线 的 上下 两 侧 ， 则 认 为 资 料 符 合 模 型 较 好 。n 利 用 残 差 分 析 图 可 以 考 察 残 差 较 大 的 点 是 否 为离 群 点 （ outlie） 。 48-3-2 -1 0 1 2 3 6 8 10 12 14 16 18 20 ie iY 49 SPSS数 据 结 构变 量名 称 变 量标 签 50 SPSS菜 单 选 择 51 SPSS菜 单 选 择选 择 应变 量选 择 自变 量 选 择 变量 筛 选的 方 法 52 SPSS结 果 显 示 模 型 描 述 53 SPSS结 果 显 示 ANOVA 54 SPSS结 果 显 示 回 归 系 数 55 SPSS结 果 显 示 筛 选 变 量 过 程 56 小 结n 多 元 线 性 回 归 模 型 的 条 件 、 方 程 的 计 算n 多 元 线 性 回 归 方 程 的 假 设 检 验 和 评 价 （ 重 点 ）q 自 变 量 整 体 ： 方 差 分 析 、 决 定 系 数 、 复 相 关 系 数q 各 个 自 变 量 ： 偏 回 归 平 方 和 、 标 准 化 回 归 系 数 、 t检 验 法n 自 变 量 筛 选 （ 重 点 ）q 全 局 择 优 法 ： 校 正 决 定 系 数 、 Cp值 法 q 逐 步 法 ： 前 进 法 、 后 退 法 、 逐 步 回 归 法 （ 重 点 ）n 多 元 线 性 回 归 的 应 用n 多 元 线 性 回 归 应 用 的 注 意 事 项 （ 重 点 ）