多元线性回归

经 管 类 核 心 课 程统 计 学 第 12章 多 元 线 性 回 归 统 计 学 经 管 类 核 心 课 程统 计 学 第 12章 多 元 线 性 回 归 12.1 多 元 线 性 回 归 模 型 12.2 回 归 方 程 的 拟 合 优 度 12.3 显 著 性 检 验 12.4 多 重 共 线 性 12.5 利 用 回 归 方 程 进 行 估 计 和 预 测 (删 去 ) 12.6 变 量 选 择 与 逐 步 回 归 (删 去 ) 12.7 虚 拟 自 变 量 的 回 归 经 管 类 核 心 课 程统 计 学 12.1 多 元 线 性 回 归 模 型12.1.1 多 元 回 归 模 型 与 回 归 方 程12.1.2 估 计 的 多 元 回 归 方 程12.1.3 参 数 的 最 小 二 乘 估 计 经 管 类 核 心 课 程统 计 学 12.1 多 元 线 性 回 归 模 型一 个 因 变 量 与 两 个 及 两 个 以 上 自 变 量 的 回 归 问 题 就 是多 元 回 归 。12.1.1 多 元 回 归 模 型 与 回 归 方 程设 因 变 量 y， k个 自 变 量 分 别 为 x1， x2， ， xk， 描 述因 变 量 y如 何 依 赖 自 变 量 x1， x2， ， xk和 误 差 项 的 方 程 ， 称 为 多 元 回 归 模 型 (multiple regression model)。 多 元 回 归 模 型 一 般 形 式 为 ：其 中 ， b 0 ， b1， b2 ， ， bk是 参 数 是 被 称 为 误 差 项 的 随 机 变 量y 是 x1,， x2 ， ， xk 的 线 性 函 数 加 上 误 差 项 包 含 在 y里 面 但 不 能 被 k个 自 变 量 的 线 性 关 系 所 解释 的 变 异 性 bbbb kkxxxy22110 经 管 类 核 心 课 程统 计 学 12.1.1 多 元 回 归 模 型 与 回 归 方 程(1).误 差 项 是 一 个 期 望 值 为 0的 随 机 变 量 ， 即E()=0。 即 ：(2).对 于 自 变 量 x1， x2， ， xk的 所 有 值 ， 的 方 差2都 相 同(3).误 差 项 是 一 个 服 从 正 态 分 布 的 随 机 变 量 ， 即N(0,2)， 且 相 互 独 立 。 独 立 性 意 味 着 对 于 自变 量 x 1， x2， ， xk的 一 组 特 定 值 所 对 应 的 与 x1，x2， ， xk任 意 一 组 其 他 值 所 对 应 的 不 相 关 。正 态 性 意 味 着 对 于 给 定 的 x1， x2， ， xk的 值 ，因 变 量 y也 是 一 个 服 从 正 态 分 布 的 随 机 变 量 。 kkxxxyE bbbb 22110)( 经 管 类 核 心 课 程统 计 学 12.1.1 多 元 回 归 模 型 与 回 归 方 程根 据 回 归 模 型 的 假 定 有 E(y)=b0+b1x1+b2x2+ bk xk，上 式 称 为 多 元 回 归 方 程 (multiple regression equation)， 它 描 述 了 因 变 量 y的 期 望 值 与 自 变 量 x1，x2， .， xk之 间 的 关 系 。 ikikiii xxxy bbbb 22110 kkxxxyE bbbb 22110)( 经 管 类 核 心 课 程统 计 学 12.1.1 多 元 回 归 模 型 与 回 归 方 程二 元 线 性 回 归 模 型 bbb 22110 xxy (观 察 到 的 y) 22110)( xxyE bbb 回 归 面 b0 ix1 y x2(x1,x2) 经 管 类 核 心 课 程统 计 学 12.1.2 估 计 的 多 元 回 归 方 程是 未 知 的 ， 需 要，回 归 方 程 中 的 参 数 kbbb10 去 估 计 回 归 方 程 中 的，当 用 样 本 统 计 量 kbbb 10们 。利 用 样 本 数 据 去 估 计 它 元时 ， 就 得 到 了 估 计 的 多，未 知 参 数 kbbb10 ：回 归 方 程 ， 一 般 形 式 为 kkxxxy bbbb 22110 称 为 偏 回 归 系 数 。，其 中 kbbb 10 经 管 类 核 心 课 程统 计 学 12.1.3 参 数 的 最 小 二 乘 估 计 22210 )(),( iiik yyeQQ bbbb2.求 解 各 回 归 参 数 的 标 准 方 程 如 下 ),2,1(000 00 kiQQ iiibb bbbb1.使 因 变 量 的 观 察 值 与 估 计 值 之 间 的 离 差 平 方 和达 到 最 小 来 求 得 。 即pbbbb , 210 222110 )( kikiii xxxy bbbb 经 管 类 核 心 课 程统 计 学 12.1.3 参 数 的 最 小 二 乘 估 计【 例 12.1】 继 续 沿 用 第 11章 中 例 11.6。 一 家 大 型 商 业银 行 在 多 个 地 区 设 有 分 行 ， 其 业 务 主 要 是 进 行 基础 设 施 建 设 、 国 家 重 点 项 目 建 设 、 固 定 资 产 投 资等 项 目 的 贷 款 。 近 年 来 ， 该 银 行 的 贷 款 额 平 稳 增长 ， 但 不 良 贷 款 额 也 有 较 大 比 例 的 提 高 ， 这 给 银行 业 务 的 发 展 带 来 较 大 压 力 。 为 弄 清 楚 不 良 贷 款形 成 的 原 因 ， 抽 取 了 该 银 行 所 属 的 25家 分 行 2002年 的 有 关 业 务 数 据 。 试 建 立 不 良 贷 款 (y)与 贷 款 余额 (x 1)、 累 计 应 收 贷 款 (x2)、 贷 款 项 目 个 数 (x3)和固 定 资 产 投 资 额 (x4)的 线 性 回 归 方 程 ， 并 解 释 各 回归 系 数 的 含 义 用 Excel进 行 回 归 经 管 类 核 心 课 程统 计 学 12.1.3 参 数 的 最 小 二 乘 估 计为 ：解 ： 多 元 线 性 回 归 方 程 4321 0292.00145.01480.00400.00216.1 xxxxy ：各 回 归 系 数 的 实 际 含 义 、 贷 款 项 目 个 数 和表 示 ， 在 累 计 应 收 贷 款0400.0 1 b 款 项 目 个 数 和 固 定表 示 ， 在 贷 款 余 额 、 贷1480.02 b 亿 元 ，下 ， 贷 款 余 额 每 增 加固 定 投 资 额 不 变 的 条 件 1亿 元 。不 良 贷 款 平 均 增 加 0400.0 亿 元 ，累 计 应 收 贷 款 每 增 加投 资 额 不 变 的 条 件 下 ， 1亿 元 。不 良 贷 款 平 均 增 加 1480.0 。其 它 回 归 系 数 类 似 解 释 经 管 类 核 心 课 程统 计 学 12.2 回 归 方 程 的 拟 合 优 度12.2.1 多 重 判 定 系 数12.2.2 估 计 标 准 误 差 经 管 类 核 心 课 程统 计 学 12.2 多 重 判 定 系 数多 元 回 归 中 因 变 量 离 差 平 方 和 的 分 解 ： SST=SSR+SSE 222 iiii yyyyyy 残 差 平 方 和回 归 平 方 和总 平 方 和 多 重 判 定 系 数 (multiple coefficient of determination)是 多 元 回 归 中 的 回 归 平 方 和 占 总 平 方 和 的 比 例 ，它 是 度 量 多 元 回 归 方 程 拟 合 程 度 的 一 个 统 计 量 ，反 映 了 在 因 变 量 y的 变 差 中 被 估 计 的 回 归 方 程 所 解释 的 比 例 。计 算 公 式 为 SSTSSESSTSSRyy yyR ii 1 222 经 管 类 核 心 课 程统 计 学 12.2 多 重 判 定 系 数注 ： 由 于 自 变 量 个 数 的 增 加 ， 将 影 响 到 因 变 量 中 被 估计 回 归 方 程 中 所 解 释 的 变 差 数 量 。 当 增 加 自 变 量 时 ，会 使 预 测 误 差 变 得 比 较 小 ， 从 而 减 少 残 差 平 方 和SSE， 由 于 回 归 平 方 和 SSR=SST-SSE， 当 SSE变 小时 ， SSR会 变 大 ， 从 而 R2也 会 变 大 。 如 果 模 型 中 增加 一 个 自 变 量 ， 即 使 这 个 自 变 量 在 统 计 上 并 不 显 著 ，R2也 会 变 大 ， 为 避 免 这 种 情 况 ， 提 出 调 整 的 多 重 判定 系 数 (adjusted multiple coefficient of determination) 计 算 公 式 为 1111)1( )1(1 22 kn nRnSST knSSERa 经 管 类 核 心 课 程统 计 学 12.2 多 重 判 定 系 数调 整 的 多 重 判 定 系 数 的 解 释 与 R2类 似 ， 不 同 的 是 ：(1). 同 时 考 虑 了 样 本 量 和 模 型 中 的 自 变 量 的 个 数的 影 响 ， 这 就 使 得 的 值 永 远 小 于 R2， 而 且 的值 不 会 由 于 模 型 中 自 变 量 个 数 的 增 加 而 越 来 越 接近 1。 因 此 ， 在 多 元 回 归 分 析 中 ， 通 常 用 调 整 的多 重 判 定 系 数 。(2).R2的 平 方 根 称 为 多 重 相 关 系 数 ， 也 称 为 复 相 关系 数 ， 它 度 量 了 因 变 量 同 k个 自 变 量 的 相 关 程 度 。2aR2aR 2aR 2aR 经 管 类 核 心 课 程统 计 学 12.2.2 估 计 标 准 误 差多 元 回 归 分 析 中 的 估 计 标 准 误 差 也 是 对 误 差 项 的 标准 差 的 一 个 估 计 值 ， 它 是 衡 量 多 元 回 归 方 程 的拟 合 优 度 方 面 也 起 着 重 要 作 用 。计 算 公 式 为多 元 回 归 中 对 s e的 解 释 ：由 于 se所 估 计 的 是 预 测 误 差 的 标 准 差 ， 其 含 义 是 根 据自 变 量 x1， x2， ， xk来 预 测 因 变 量 y时 的 平 均 预测 误 差 。 MSEknSSEkn yyS iie 11 2 经 管 类 核 心 课 程统 计 学 12.3 显 著 性 检 验12.3.1 线 性 关 系 检 验12.3.2 回 归 系 数 检 验 和 推 断 经 管 类 核 心 课 程统 计 学 12.3.1 线 性 关 系 检 验1.检 验 因 变 量 与 所 有 自 变 量 之 间 的 关 系 是 否 显 著 ，也 被 称 为 总 体 显 著 性 检 验 。2.检 验 方 法 是 将 回 归 平 方 和 (SSR)同 残 差 平 方 和(SSE)加 以 比 较 ， 应 用 F检 验 来 分 析 二 者 之 间的 差 别 是 否 显 著 。 如 果 是 显 著 的 ， 因 变 量 与 自 变 量 之 间 存 在 线性 关 系 如 果 不 显 著 ， 因 变 量 与 自 变 量 之 间 不 存 在 线性 关 系 经 管 类 核 心 课 程统 计 学 12.3.1 线 性 关 系 检 验第 1步 ： 提 出 假 设H 0： b1b2bk=0 线 性 关 系 不 显 著H 1： b1， b2， ， bk至 少 有 一 个 不 等 于 0 )1,()1()1( 2 2 knkFknyy kyyknSSE kSSRF i i第 2步 ： 计 算 检 验 统 计 量 F第 3步 ： 作 出 统 计 决 策 。 给 定 显 著 性 水 平 和 分 子自 由 度 k、 分 母 自 由 度 n-k-1找 出 临 界 值 F， 若FF， 拒 绝 H 0； 若 FF， 所 以 拒 绝 H 0， 这 意 味 着 不 良 贷 款 与 贷 款余 额 、 累 计 应 收 贷 款 、 贷 款 项 目 个 数 和 固 定 资 产 投资 额 之 间 的 线 性 关 系 是 显 著 的 。 经 管 类 核 心 课 程统 计 学 12.3.2 回 归 系 数 检 验 和 推 断1.在 回 归 方 程 通 过 线 性 关 系 检 验 后 ， 就 可 以 对 各个 回 归 系 数 有 选 择 地 进 行 一 次 或 多 次 检 验 。但 究 竟 要 对 哪 几 个 回 归 系 数 进 行 检 验 ， 通 常需 要 在 建 立 模 型 之 前 作 出 决 定 。 对 回 归 系 数检 验 的 个 数 进 行 限 制 ， 以 避 免 犯 过 多 的 第 一类 错 误 (弃 真 错 误 ) 2.对 每 一 个 自 变 量 都 要 单 独 进 行 检 验3.应 用 t 检 验 统 计 量 经 管 类 核 心 课 程统 计 学 12.3.2 回 归 系 数 检 验 和 推 断4.回 归 系 数 检 验 的 具 体 步 骤 ：提 出 假 设H 0： bi = 0 (自 变 量 xi 与 因 变 量 y 没 有 线 性 关 系 ) H 1： bi 0 (自 变 量 xi 与 因 变 量 y有 线 性 关 系 ) 计 算 检 验 的 统 计 量 t作 出 统 计 决 策 。 给 定 显 著 性 水 平 ， 并 进 行 决 策 tt 2， 拒 绝 H 0； tt2(25-2)=2.07， 所以 均 拒 绝 原 假 设 ， 说 明 这 4个 自 变 量 两 两 之 间 都 有显 著 的 相 关 关 系 经 管 类 核 心 课 程统 计 学 12.4.2 多 重 共 线 性 的 判 别2.由 表 Excel输 出 的 结 果 可 知 ， 回 归 模 型 的 线 性 关 系显 著 (Significance-F 1.03539E-06=0.05) 。 这 也 暗 示了 模 型 中 存 在 多 重 共 线 性3.固 定 资 产 投 资 额 的 回 归 系 数 为 负 号 (-0.029)， 与 预 期的 不 一 致由 以 上 三 点 可 以 判 断 回 归 模 型 中 存 在 多 重 共 线 性 。 经 管 类 核 心 课 程统 计 学 12.4.3 多 重 共 线 性 问 题 的 处 理多 重 共 线 性 问 题 的 解 决 办 法 ：(1).将 一 个 或 多 个 相 关 的 自 变 量 从 模 型 中 剔 除 ， 使保 留 的 自 变 量 尽 可 能 不 相 关(2).如 果 要 在 模 型 中 保 留 所 有 的 自 变 量 ， 则 应 该 ：避 免 根 据 t统 计 量 对 单 个 参 数 进 行 检 验 ； 对 因 变量 y值 的 推 断 (估 计 或 预 测 )限 定 在 自 变 量 样 本 值的 范 围 内 。 经 管 类 核 心 课 程统 计 学 12.4.3 多 重 共 线 性 问 题 的 处 理【 例 12.5】 利 用 例 12.1所 建 立 的 回 归 方 程 ， 对 多 重共 线 性 问 题 进 行 处 理 。解 ： 首 先 ， 考 虑 将 一 些 相 关 的 自 变 量 从 模 型 中 剔 除 。从 前 表 可 以 看 出 ， 贷 款 余 额 与 贷 款 项 目 个 数 的相 关 系 数 最 高 ， 而 且 从 定 性 角 度 看 ， 贷 款 余 额与 应 收 贷 款 之 间 也 有 很 强 的 相 关 关 系 。 因 此 将贷 款 项 目 个 数 和 累 积 应 收 贷 款 这 两 个 自 变 量 剔除 ， 建 立 不 良 贷 款 与 贷 款 余 额 和 固 定 资 产 投 资额 的 线 性 模 型 。 从 结 果 可 以 看 出 ， 线 性 关 系 和各 回 归 系 数 在 0.05的 显 著 水 平 下 是 显 著 的 ， 多重 共 线 性 问 题 不 存 在 了 。 经 管 类 核 心 课 程统 计 学 12.4.3 多 重 共 线 性 问 题 的 处 理多 重 共 线 性 问 题 带 来 的 主 要 麻 烦 是 对 单 个 回 归 系 数的 解 释 和 检 验 。 在 求 因 变 量 的 置 信 区 间 和 预 测区 间 时 一 般 不 会 受 其 影 响 ， 但 必 须 保 证 用 于 估计 或 预 测 的 自 变 量 的 值 是 在 样 本 数 据 的 范 围 之内 。 因 此 ， 如 果 仅 仅 是 为 了 估 计 或 预 测 ， 可 以将 所 有 自 变 量 都 保 留 在 模 型 中 。在 建 立 多 元 线 性 回 归 模 型 时 ， 不 要 试 图 引 入 更 多 的自 变 量 ， 除 非 有 必 要 。 特 别 是 在 社 会 科 学 的 研究 中 ， 由 于 所 使 用 的 大 多 数 数 据 都 是 非 试 验 性质 的 ， 因 此 ， 在 某 些 情 况 下 ， 得 到 的 结 果 往 往并 不 令 人 满 意 ， 但 这 不 一 定 是 选 择 的 模 型 不 适合 ， 而 是 数 据 的 质 量 不 好 ， 或 者 是 由 于 引 入 的自 变 量 不 合 适 。 经 管 类 核 心 课 程统 计 学 12.7 虚 拟 自 变 量 的 回 归12.7.1 在 模 型 中 引 进 虚 拟 变 量12.7.2 含 有 一 个 虚 拟 自 变 量 的 回 归 经 管 类 核 心 课 程统 计 学 12.7.1 在 模 型 中 引 进 虚 拟 变 量1.虚 拟 变 量 (dummy variable)是 指 用 数 字 代 码 表 示的 定 性 自 变 量2.当 模 型 中 使 用 虚 拟 自 变 量 时 ， 称 为 虚 拟 自 变 量 的回 归 。3.虚 拟 变 量 的 取 值 只 能 是 0， 14.回 归 分 析 中 引 入 虚 拟 自 变 量 的 方 法 ： (1).如 果 定 性 自 变 量 只 有 两 个 水 平 时 。 比 如 ， 性 别 (男 ， 女 ) 女男01x 经 管 类 核 心 课 程统 计 学 12.7.1 在 模 型 中 引 进 虚 拟 变 量(2).有 两 个 以 上 水 平 的 虚 拟 自 变 量 。 比 如 ， 贷 款 企 业 的 类 型 (家 电 ， 医 药 ， 其 他 ) 一 般 而 言 ， 如 果 定 性 自 变 量 有 k个 水 平 ， 需 要 引入 k-1个 虚 拟 变 量 。 其 他 水 平水 平，其 他 水 平水 平，其 他 水 平水 平 0 110 210 11 121 kxxx k5.对 于 含 有 一 个 虚 拟 自 变 量 的 回 归 ， 采 用 下 列 形 式 的回 归 方 程 ： xyE 10)( bb 经 管 类 核 心 课 程统 计 学 12.7.1 在 模 型 中 引 进 虚 拟 变 量【 例 12.8】 为研 究 考 试 成 绩与 性 别 之 间 的关 系 ， 从 某 大学 商 学 院 随 机抽 取 男 女 学 生各 8名 ， 得 到他 们 的 市 场 营销 学 课 程 的 考试 成 绩 如 下 表 对 性 别 引 入 虚 拟 变 量 女男10 x 经 管 类 核 心 课 程统 计 学 12.7.2含 有 一 个 虚 拟 自 变 量 的 回 归1.模 型 中 只 含 有 一 个 虚 拟 变 量 的 回 归 ：建 立 回 归 模 型 为 ： y =b0+ b1x+回 归 方 程 可 写 ： E(y) =b0+ b1x 男 (x=0)： E(y) =b0男 学 生 考 试 成 绩 的 期 望 值 女 (x=1)： E(y) =b0+ b1女 学 生 考 试 成 绩 的 期 望 值注 意 ： 当 指 定 虚 拟 变 量 01时 b0总 是 代 表 与 虚 拟 变 量 值 0所 对 应 的 那 个 分 类 变 量 水平 的 平 均 值 b 1总 是 代 表 与 虚 拟 变 量 值 1所 对 应 的 那 个 分 类 变 量 水平 的 平 均 响 应 与 虚 拟 变 量 值 0所 对 应 的 那 个 分 类 变量 水 平 的 平 均 值 的 差 值 ， 即 平 均 值 的 差 值 =(b0+ b1) - b0= b1 经 管 类 核 心 课 程统 计 学 12.7.2含 有 一 个 虚 拟 自 变 量 的 回 归解 ： 散 点 图 男 女【 例 12.9】 沿 用 例 12.8。 试 建 立 考 试 成 绩 与 性 别 之 间的 线 性 回 归 模 型 ， 并 解 释 回 归 系 数 的 含 义 。xy 875.14875.66 经 管 类 核 心 课 程统 计 学 12.7.2含 有 一 个 虚 拟 自 变 量 的 回 归【 例 12.10】 为 研 究 工 资 水 平 与 工 作 年 限 和 性 别 之 间的 关 系 ， 在 某 行 业 中 随 机 抽 取 10名 职 工 ， 所 得 数 据 如下 表 经 管 类 核 心 课 程统 计 学 12.7.2含 有 一 个 虚 拟 自 变 量 的 回 归2.模 型 中 含 有 一 个 数 值 型 自 变 量 和 一 个 虚 拟 变 量 回 归引 进 虚 拟 变 量 时 ， 回 归 方 程 可 写 ： E(y) =b0+ b1x1+ b2x2女 ( x2=0)： E(y|女 性 ) =b0 +b1x1男 (x2=1)： E(y|男 性 ) =(b0 + b2 ) +b1x1b0的 含 义 表 示 ： 女 性 职 工 的 期 望 月 工 资 收 入 (b 0+ b2)的 含 义 表 示 ： 男 性 职 工 的 期 望 月 工 资 收 入 b1含 义 表 示 ： 工 作 年 限 每 增 加 1年 ， 男 性 或 女 性 工 资 的平 均 增 加 值 b2含 义 表 示 ： 男 性 职 工 的 期 望 月 工 资 收 入 与 女 性 职 工的 期 望 月 工 资 收 入 之 间 的 差 值 (b0+ b2) - b0= b2 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.01】 根 据 下 面 的 数 据 用 Excel进 行 回 归 ， 并 对回 归 结 果 进 行 讨 论 ， 计 算 x1=200、 x2=7时 y的 预 测 值 。SUMMARY OUTPUT回 归 统 计Multiple R 0.459234R Square 0.210896Adjusted R Square -0.01456标 准 误 差 13.34122观 测 值 10 经 管 类 核 心 课 程统 计 学 习 题 选 讲 方 差 分 析 df SS MS F Significance F回 归 分 析 2 332.9837 166.4919 0.93541 0.436485残 差 7 1245.916 177.988总 计 9 1578.9 Coefficients 标 准 误 差 t Stat P-valueIntercept 25.0287 22.27863 1.12344 0.298298 X Variable 1 -0.04971 0.105992 -0.46904 0.653301X Variable 2 1.928169 1.47216 1.309755 0.231624 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.02】 根 据 下 面 Excel输 出 的 回 归 结 果 ， 说 明 模型 中 涉 及 多 少 个 自 变 量 ？ 多 少 个 观 察 值 ？ 写 出 回 归 方程 ， 并 根 据 F、 se、 R2及 修 正 的 的 值 对 模 型 进 行 讨 论 。 个 观 测 值 ，个 自 变 量 ，解 ： 153 321 47.342.071.50534.657 xxxy 63.071.043.10996.8 22 RRsF e ， 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.03】 根 据 两 个 自 变 量 得 到 的 多 元 回 归 方 程 为 ， 并 且 已 知 125.67241074.401.24.18 21 SSTnxxy解 ： 。 要 求 ：， 0567.00813.0375.6216 21 bb ssSSR 的 线 性 关 系 是 否 显 著 ？与、的 显 著 性 水 平 下 ，在 yxx 2105.0).1( 是 否 显 著 ？的 显 著 性 水 平 下 ，在 105.0).2( b 是 否 显 著 ？的 显 著 性 水 平 下 ，在 205.0).3( b 7374.4)7,2(85.42)1210/()( 2/ 05.0 FSSRSST SSRF ， 36.2)7(6.8372.24 025.02211 21 tstst ， bb bb 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.04】 一 家 电 器 销 售 公 司 的 管 理 人 员 认 为 ， 每月 的 销 售 额 是 广 告 费 用 的 函 数 ， 并 想 通 过 广 告 费 用 对月 销 售 额 作 出 估 计 。 下 面 是 近 8个 月 的 销 售 额 与 广 告费 用 数 据 。 要 求 ： (1).用 电 视 广 告 费 用 作 自 变 量 ， 月销 售 额 作 因 变 量 ， 建 立 估 计 的 回 归 方 程 。 (2).用 电 视广 告 费 用 和 报 纸 广 告 费 用 作 自 变 量 ， 月 销 售 额 作 因 变量 ， 建 立 估 计 的 回 归 方 程 。 (3).上 述 (1)和 (2)所 建 立的 估 计 方 程 ， 电 视 广 告 费 用 的 系 数 是 否 相 同 ？ 对 其 回归 系 数 分 别 进 行 解 释 。 (4).根 据 问 题 (2)所 建 立 的 估计 方 程 ， 在 销 售 收 入 的 总 变 差 中 ， 被 估 计 的 回 归 方 程所 解 释 的 比 例 是 多 少 ？ (5).根 据 问 题 (2)所 建 立 的 估计 方 程 ， 检 验 回 归 系 数 是 否 显 著 (=0.05)？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 解 ： xy 6039.16377.88).1( 21 3010.12902.22301.83).2( xxy 。解 释 的 比 例 为广 告 费 用 的 回 归 方 程 所 用 和 报 纸差 中 ， 能 被 电 视 广 告 费后 ， 在 销 售 收 入 的 总 变 自 变 量 的 个 数 调 整， 在 用 样 本 量 和 模 型 中 67.888867.0).4( 2 aR 中 ，在广 告 费 用 的 系 数 不 同 ，两 个 估 计 方 程 中 ， 电 视 )1().3( 万 元 ， 月 销 售 收 入加表 示 电 视 广 告 费 用 每 增 16039.11 b 表 示 在 报 纸中 ，万 元 。 在平 均 增 加 2902.2)2(6039.1 1 b 万 元 ， 月 销 售广 告 费 用 每 增 加广 告 费 用 不 变 下 ， 电 视 1万 元 ， 另 一 个 类 似 。收 入 平 均 增 加 2902.2 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.05】 某 农 场 通 过 试 验 取 得 早 稻 收 获 量 与 春 季降 雨 量 和 春 季 温 度 的 数 据 如 下 。要 求 ： (1).试 确 定 早 稻 收 获 量 对 春 季 降 雨 量 和 春 季 温度 的 二 元 线 性 回 归 方 程 。(2).解 释 回 归 系 数 的 实 际 意 义 。(3).根 据 你 的 判 断 ， 模 型 中 是 否 存 在 多 重 共 线 性 ？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.12】 为 分 析 某 行 业 中 的 薪 水 有 无 性 别 歧 视 ，从 该 行 业 中 随 机 抽 取 15名 员 工 ， 有 关 的 数 据 如 下 。 要求 ： 用 Excel进 行 回 归 ， 并 对 结 果 进 行 分 析 。 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.06】 一 家 房 地 产 评 估 公 司 想 对 某 城 市 的 房 地产 销 售 价 格 y与 地 产 的 评 估 价 值 x1、 房 产 的 评 估 价 值x2和 使 用 面 积 x3建 立 一 个 模 型 ， 以 便 对 销 售 价 格 作 出合 理 预 测 。 为 此 ， 收 集 了 20栋 住 宅 的 房 地 产 评 估 数据 如 下 。 用 Excel进 行 回 归 ， 回 答 下 面 的 问 题 ：(1).写 出 估 计 的 多 元 回 归 方 程 。(2).在 销 售 价 格 的 总 变 差 中 ， 被 估 计 的 回 归 方 程 所 解释 的 比 例 是 多 少 ？(3).检 验 回 归 方 程 的 线 性 关 系 是 否 显 著 (=0.05)。(4).检 验 各 回 归 系 数 是 否 显 著 (=0.05)？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.07】 根 据 11.4题 中 的 数 据 ， 回 答 下 面 的 问 题 ：(1).=0.01的 水 平 下 ， 检 验 二 元 回 归 模 型 线 性 关 系 的显 著 性 。(2).在 =0.05的 水 平 下 ， 检 验 回 归 系 数 b1的 显 著 性 ，你 认 为 x1应 该 从 模 型 中 剔 除 吗 ？(3).在 =0.05的 水 平 下 ， 检 验 回 归 系 数 b2的 显 著 性 ，你 认 为 x2应 该 从 模 型 中 剔 除 吗 ？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.08】 根 据 下 面 的 数 据 回 答 下 面 的 问 题 ：(1).计 算 y与 x1之 间 的 相 关 系 数 ， 有 无 证 据 表 明 二 者 之间 存 在 线 性 关 系 (=0.05)？(2).计 算 y与 x2之 间 的 相 关 系 数 ， 有 无 证 据 表 明 二 者 之间 存 在 线 性 关 系 (=0.05)？ (3).根 据 上 面 的 结 论 ， 你 认 为 E(y)=b0+b1x1+b2x2对 预 测y是 否 有 用 ？ (4).用 Excel进 行 回 归 ， 并 对 模 型 进 行 检 验 ， 所 得 的 结论 与 (3)是 否 相 同 ？ (5)计 算 x 1与 x2之 间 的 相 关 系 数 ， 所 得 结 果 意 味 着 什 么 ？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.09】 下 面 是 随 机 抽 取 的 15家 大 型 商 场 销 售 的同 类 产 品 的 有 关 数 据 (单 位 ： 元 )。要 求 ： (1).计 算 y与 x1、 y与 x2之 间 的 相 关 系 数 ， 是 否 有证 据 表 明 销 售 价 格 与 购 进 价 格 、 销 售 价 格 与 销 售 费 用之 间 存 在 线 性 关 系 ？(2).根 据 上 述 结 果 ， 你 认 为 用 购 进 价 格 和 销 售 费 用 来 预测 销 售 价 格 是 否 有 用 ？(3).用 Excel进 行 回 归 ， 并 检 验 模 型 的 线 性 关 系 是 否 显著 (=0.05)。(4).解 释 判 定 系 数 R 2， 所 得 结 论 与 问 题 (2)中 是 否 一 致 ?(5).计 算 x1与 x2之 间 的 相 关 系 数 ,所 得 结 果 意 味 着 什 么 ？(6).模 型 中 是 否 存 在 多 重 共 线 性 ？ 你 对 模 型 有 何 建 议 ？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.10】 设 因 变 量 为 y， 一 个 数 值 型 自 变 量 x1和 一个 具 有 两 个 水 平 （ 水 平 1和 水 平 2） 的 分 类 型 自 变 量 。要 求 ： (1).写 出 因 变 量 y关 于 自 变 量 x1和 分 类 自 变 量 的多 元 回 归 方 程 。(2).对 应 于 分 类 自 变 量 水 平 1的 y的 期 望 值 是 多 少 ？(3).对 应 于 分 类 自 变 量 水 平 2的 y的 期 望 值 是 多 少 ？ 经 管 类 核 心 课 程统 计 学 习 题 选 讲 【 习 题 12.11】 一 家 货 物 运 输 公 司 想 研 究 运 输 费 用 与 货物 类 型 的 关 系 ， 并 建 立 运 输 费 用 与 货 物 类 型 的 回 归 模型 ， 以 此 对 运 输 费 用 作 出 预 测 。 该 运 输 公 司 所 运 输 的货 物 分 为 两 种 类 型 ： 易 碎 品 和 非 易 碎 品 。 下 面 给 出 了15个 路 程 大 致 相 同 、 而 货 物 类 型 不 同 的 运 输 费 用 数 据 。要 求 ： (1).写 出 运 输 费 用 与 货 物 类 型 之 间 的 线 性 方 程 。(2).对 模 型 中 的 回 归 系 数 进 行 解 释 。(3).检 验 模 型 的 线 性 关 系 是 否 显 著 (=0.05)？ 经 管 类 核 心 课 程统 计 学 12.5利 用 回 归 方 程 进 行 估 计 和 预 测删 去 不 讲 经 管 类 核 心 课 程统 计 学 12.5利 用 回 归 方 程 进 行 估 计 和 预 测STATISTICA输 出 的 不 良 贷 款 的 置 信 区 间 B-Weight B-Weight Value * Value VAR2 0.040039 100 4.003935 VAR3 0.148034 10 1.480339 VAR4 0.014529 15 0.21794 VAR5 -0.02919 60 -1.75157 -1.02164 2.929003 2.049598 3.808407+95.0%CL variable: VAR1 Intercpt Predictd -95.0%CL 【 例 12.6】 根 据 例 12.1的 数 据 ， 取 x1=100、 x2=10、 x3=15、x4=60， 建 立 不 良 贷 款 的 95 的 置 信 区 间 和 预 测 区 间 。 经 管 类 核 心 课 程统 计 学 12.5利 用 回 归 方 程 进 行 估 计 和 预 测STATISTICA输 出 的 不 良 贷 款 的 预 测 区 间 B-Weight B-Weight Value * Value VAR2 0.040039 100 4.003935 VAR3 0.148034 10 1.480339 VAR4 0.014529 15 0.21794 VAR5 -0.029193 60 -1.751572 -1.02164 2.929003 -0.884199 6.742205+95.0%PL variable: VAR1 Intercpt Predictd -95.0%PL 经 管 类 核 心 课 程统 计 学 12.5利 用 回 归 方 程 进 行 估 计 和 预 测STATISTICA输 出 的 不 良 贷 款 的 置 信 区 间 B-Weight B-Weight Value * Value VAR2 0.040039 100 4.003935 VAR3 0.148034 10 1.480339 VAR4 0.014529 15 0.21794 VAR5 -0.02919 60 -1.75157 -1.02164 2.929003 2.049598 3.808407+95.0%CL variable: VAR1 Intercpt Predictd -95.0%CL 【 例 12.6】 根 据 例 12.1的 数 据 ， 取 x1=100、 x2=10、 x3=15、x4=60， 建 立 不 良 贷 款 的 95 的 置 信 区 间 和 预 测 区 间 。 经 管 类 核 心 课 程统 计 学 12.5利 用 回 归 方 程 进 行 估 计 和 预 测STATISTICA输 出 的 不 良 贷 款 的 预 测 区 间 B-Weight B-Weight Value * Value VAR2 0.040039 100 4.003935 VAR3 0.148034 10 1.480339 VAR4 0.014529 15 0.21794 VAR5 -0.029193 60 -1.751572 -1.02164 2.929003 -0.884199 6.742205+95.0%PL variable: VAR1 Intercpt Predictd -95.0%PL 经 管 类 核 心 课 程统 计 学 12.6 变 量 选 择 与 逐 步 回 归12.6.1 变 量 选 择 过 程12.6.2 向 前 选 择12.6.3 向 后 剔 除12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学 12.6.1 变 量 选 择 过 程1.在 建 立 回 归 模 型 时 ， 对 自 变 量 进 行 筛 选2.选 择 自 变 量 的 原 则 是 对 统 计 量 进 行 显 著 性 检 验(1).将 一 个 或 一 个 以 上 的 自 变 量 引 入 到 回 归 模 型 中 时 ，是 否 使 得 残 差 平 方 和 (SSE)有 显 著 地 减 少 。 如 果 增加 一 个 自 变 量 使 SSE的 减 少 是 显 著 的 ， 则 说 明 有 必要 将 这 个 自 变 量 引 入 回 归 模 型 ， 否 则 ， 就 没 有 必 要将 这 个 自 变 量 引 入 回 归 模 型(2).确 定 引 入 自 变 量 是 否 使 SSE有 显 著 减 少 的 方 法 ，就 是 使 用 F统 计 量 的 值 作 为 一 个 标 准 ， 以 此 来 确 定是 在 模 型 中 增 加 一 个 自 变 量 ， 还 是 从 模 型 中 剔 除 一个 自 变 量3.变 量 选 择 的 方 法 主 要 有 ： 向 前 选 择 、 向 后 剔 除 、 逐步 回 归 、 最 优 子 集 等 经 管 类 核 心 课 程统 计 学 12.6.2 向 前 选 择 1.从 模 型 中 没 有 自 变 量 开 始2.对 k个 自 变 量 分 别 拟 合 对 因 变 量 y的 一 元 线 性 回 归 模型 ， 共 有 k个 ， 然 后 找 出 F统 计 量 的 值 最 高 的 模 型及 其 自 变 量 (P值 最 小 的 )， 并 将 其 首 先 引 入 模 型 3.分 别 拟 合 引 入 模 型 外 的 k-1个 自 变 量 的 线 性 回 归 模型 ,如 此 反 复 进 行 ， 直 至 模 型 外 的 自 变 量 均 无 统 计显 著 性 为 止 经 管 类 核 心 课 程统 计 学 12.6.3 向 后 剔 除 1.先 对 因 变 量 拟 合 包 括 所 有 k个 自 变 量 的 回 归 模 型 。然 后 考 察 p(pk)个 去 掉 一 个 自 变 量 的 模 型 (这 些 模型 中 在 每 一 个 都 有 的 k-1个 自 变 量 )， 使 模 型 的 SSE值 减 小 最 少 的 自 变 量 被 挑 选 出 来 并 从 模 型 中 剔 除2.考 察 p-1个 再 去 掉 一 个 自 变 量 的 模 型 (这 些 模 型 中 每一 个 都 有 k-2个 的 自 变 量 )， 使 模 型 的 SSE值 减 小 最少 的 自 变 量 被 挑 选 出 来 并 从 模 型 中 剔 除3.如 此 反 复 进 行 ， 一 直 将 自 变 量 从 模 型 中 剔 除 ， 直 至剔 除 一 个 自 变 量 不 会 使 SSE显 著 减 小 为 止 经 管 类 核 心 课 程统 计 学 12.6.4 逐 步 回 归 1.将 向 前 选 择 和 向 后 剔 除 两 种 方 法 结 合 起 来 筛 选 自 变量2.在 增 加 了 一 个 自 变 量 后 ， 它 会 对 模 型 中 所 有 的 变 量进 行 考 察 ， 看 看 有 没 有 可 能 剔 除 某 个 自 变 量 。 如 果在 增 加 了 一 个 自 变 量 后 ， 前 面 增 加 的 某 个 自 变 量 对模 型 的 贡 献 变 得 不 显 著 ， 这 个 变 量 就 会 被 剔 除3.按 照 方 法 不 停 地 增 加 变 量 并 考 虑 剔 除 以 前 增 加 的 变量 的 可 能 性 ， 直 至 增 加 变 量 已 经 不 能 导 致 SSE显 著减 少4.在 前 面 步 骤 中 增 加 的 自 变 量 在 后 面 的 步 骤 中 有 可 能被 剔 除 ， 而 在 前 面 步 骤 中 剔 除 的 自 变 量 在 后 面 的 步骤 中 也 可 能 重 新 进 入 到 模 型 中 经 管 类 核 心 课 程统 计 学【 例 12.7】 根 据 例 12.1的 数 据 ， 用 逐 步 回 归 方 法建 立 不 良 贷 款 y与 贷 款 余 额 x1、 累 计 应 收 贷 款 x2、 贷 款 项 目 个 数 x3和 固 定 资 产 投 资 额 x4的 线 性回 归 方 程 。 12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学第 1步 ： 选 择 【 Analyze】 下 拉 菜 单 ， 并 选 择【 Regression - linear】 选 项 进 入 主 对 话 框第 2步 ： 在 主 对 话 框 中 将 因 变 量 选 入 【 Dependent】 ，将 所 有 自 变 量 选 入 【 Independent(s)】 ， 并 在【 Method】 下 选 择 【 Stepwise】第 3步 ： 点 击 【 Options】 ， 并 在 【 Stepping Method Criteria】 下 选 中 【 Use Probability of F】 ，并 在 【 Entry】 框 中 输 入 增 加 变 量 所 要 求 的 显 著 性水 平 (隐 含 值 为 0.05， 一 般 不 用 改 变 )； 在【 Removal】 输 入 剔 除 变 量 所 要 求 的 显 著 性 水 平( 隐 含 值 为 0 . 1 0 ， 一 般 不 用 改 变 ) 。 点 击【 Continue】 回 到 主 对 话 框 12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学第 4步 ： (需 要 预 测 时 )点 击 【 Save】 ： 在 【 Predicted Values】 下 选 中 【 Unstandardized】 (输 出 点 预测 值 )在 【 Prediction interval】 下 选 中 【 Mean】和 【 Individual】 (输 出 置 信 区 间 和 预 测 区 间 )在 【 Confidence Interval】 中 选 择 所 要 求 的 置信 水 平 (隐 含 值 为 95%， 一 般 不 用 改 变 )(需 要 残 差分 析 时 )在 【 Residuals】 下 选 中 所 需 的 残 差 ， 点击 【 Continue】 回 到 主 对 话 框 。 点 击 【 OK】 12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学变 量 的 进 入 和 移 出 标 准 12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学两 个 模 型 的 主 要 统 计 量 12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学两 个 模 型 的 方 差 分 析 表 12.6.4 逐 步 回 归 经 管 类 核 心 课 程统 计 学两 个 模 型 的 参 数 估 计 和 检 验 41 032.0050.0433.0 xxy 12.6.4 逐 步 回 归