偏最小二乘回归模型内涵分析方法研究
王惠文;刘强;屠永平
【摘 要】偏最小二乘回归是一种新型的多元分析方法.它可以在自变量多重相关的条件下,有效地构造出对系统解释性最强的子空间,进行回归建模,使模型的精度和可靠性得到很大的提高.本文提出采用因素分析方法,对偏最小二乘回归的最优子空间进行正交变换.这种变换方法对偏最小二乘回归的模型结果没有任何影响,却可以使最优子空间的实际含义得到更好的解释.案例研究表明,经过正交变换后,原始变量被分为若干变量组,每个变量组分别对应于最优子空间中的一个因素,从而提高了对最优子空间的内涵分析能力.
【期刊名称】《北京航空航天大学学报》 【年(卷),期】2000(026)004 【总页数】4页(P473-476)
【关键词】子空间;解释;因子分析;偏最小二乘回归;简单结构 【作 者】王惠文;刘强;屠永平
【作者单位】北京航空航天大学,管理学院;北京航空航天大学,机械工程及自动化学院;北京航空航天大学,管理学院 【正文语种】中 文 【中图分类】工业技术
2 0 0 0 年 8 月 北京 航 空 航 天 大 学 学 报 Au g u st 2000 第26卷 第4 期 Jo u m a l of B ei jing U ni v e r s ity of A e r o n a u t i c s a n d A stro n a utic
s Vol.2 6 N o ． 4 == = = = = = = = = = = = = = = == = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =偏 最 小 二 乘 回 归 模 型 内 涵 分 析 方 法 研 究王 惠 文（北京航空航天大学 管理学院）刘 强 （北京航空航天大学 机械 工 程及自动化学院）屠永 平（北京航空航天大学 管理学院 ）摘要：偏最小 二 乘 回 归是一种新 型 的多 元 分 析方 法 ． 它 可 以在 自变 量 多重相关的条件下 ， 有效地构 造出对系统解释性最 强 的子 空 间 ， 进行 回 归建模 ， 使模 型 的 精度和 可 靠 性得到 很 大 的提高 ． 本 文提 出采 用 因 素分析方 法 ， 对偏 最 小 二 乘 回 归 的 最优 子 空间进 行 正 交变换 ． 这种变换 方 法 对偏 最 小 二 乘 回 归 的模 型结果 没 有任 何 影 响，却 可 以使最优 子 空 间 的实 际含义 得到 更 好 的 解释 ． 案例 研 究表 明 ， 经 过 正 交变换后 ， 原 始变量 被 分为 若干变量 组 ， 每个变 量 组 分别 对应 于 最优 子 空 间 中 的一 个 因 素 ， 从 而 提高了 对最优 子 空 间的内 涵 分析 能力 ，关 键 词 ： 子 空 间；解释；因 子 分析；偏 最小 二 乘 回 归；简单结构中 图 分 类 号 ： 0 2 1 2.4 文献标识 码 ： A 文章 编 号： 1 0 0 1 -5 9 6 5( 20 0 0) 0 4 -0 4 7 3 - 0 4在技术 、 经 济和 社 会科学 中 ， 多 元 回归 分析 是种十分常用 的分析方法 ． 然而在应 用中 ， 如果在 自变 量集合中存在较 严 重 的多 重 相 关 性 ， 采 用 普 通最 小 二 乘 方 法 所 得 到 的 模 型 的 可 靠 性 是 极 低的.1 9 8 2 年由 W old 和 A lb a r o 等人提出偏最小 二 乘回 归 方 法（ p a rti al l e a st- s q u a r e s r e g r e s si o n ） … 一 ‘ 钔 ， 在 解 决 上 述 问 题 上 取 得 了 重 要 的进 展 ．在 一 般情况 下 ， 系 统 分析 人员 根 据 经 验 选 取的自变量集合 中 的信息 成 分是 十 分复杂的 ， 其 中 除包 含对 因 变 量 有 解 释 意 义 的 信息 外 ， 还 包 含 由 于变量相关性 所 产 生 的 重 叠 信息 ， 以 及 部 分 对 因 变量无解 释作用 的信息 ． 经 过偏 最 小 二 乘 回 归 分 析后 ， 可 以 通 过 有 效 地 提 取 对 系 统 解 释 性 最 强 的 综合
变量 ， 在原高维 自变量 空 间 中找 到 一个 低 维的子空间 ， 使之 对因变量有 最强 的解 释能力（ 称为“ 最 优子 空 间 ”）．已 经 证 明 ， 这 个 最 优 子 空 间 可 以将 原来 的相 关 重 叠 信息 综 合 起来 ， 并 且 排 除 无 解释作用 的信息[ 3 ， 从 而 使模 型 的 精 度 和 可 靠 性 都得 到很 大 的提高 ，然 而 ， 偏最 小 二 乘 回 归 所确 定 的 最 优 子 空 间 究竟 和那 些 系 统 因 素 有 关 ， 继 而 如 何 从 实 际 概 念 上 解 释偏 最 小 二 乘 回 归 的模 型 ， 这 是 偏 最 小 二 乘收稿 日期 ： 1999 -03 -23基金 项 目： 国家自然科学基金资助项 目(79570002) 作者简介： 王 惠文 ，（ 1957 - ）， 女 ， 河北 玉 田 人 ，教授，10008
3 ． 北京回 归 分析在应 用 中尚待解 决 的 问 题 ， 本文采用 因 素 分析 的方 法 ， 对 经 偏 最 小 二 乘 回归 分析得到 的 最 优 子 空 间 进 行 正 交 变 换 ， 使在 新的公 共 因素 空 间 中 ， 可 以 将 原 变 量 分 成 几 个 变 量 组 ， 每个变量 组 分别对应 于个新 的公共因素 ．这样 ， 就 可 以 较好 地解 释最优 子 空 间 的物 理 含 义 ， 在本 文 中还 指 出 ， 这 种 空 间 变 换 方 法 对偏 最 小 二 乘回归 的模型 结 果 没有 任何影 响 ， 而 仅仅使最优 子 空 间得到更好 的解 释 ．1偏 最 小 二 乘 回 归 算 法 及 主 要 性 质设有 因变 量 J， 以 及 自变量集合X = （工l ， … ， x P ） 不失般 性 ， 设 J， 与 z ， ，… ， x p 均 为 标 准 化 变量 ，既 它们 的均值为零 ， 方差 为
1 ． 偏 最小 二 乘 回 归 分 析的方 法 是 首 先 在 自 变 量 集 合 X 中 提 取 一个 主 成分t l ， 它一 方 面 可 以 尽 可 能 多 地 概 括 自 变 量集合 X 中的信息 ， 另方面 它与 因变量 j， 的 相 关性可 以 达到最大值 ， 即要求m a x c o v(J，，tl) =√ i 文t1) r( t ． ，y ) (1)约束条件是 ：20年8月北京航空天大学报Augst2000第26卷第4期JomalofBeijingUniversitynticdstro n a utic sVol.6N．4=刘强（北京航空航天大学 机械 工 程及自动化学院）重相关的条件
偏最小二乘回归模型内涵分析方法研究
