最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 多因变量对多自变量的回归建模分析,本人拜谢!

    本文转载自多篇网络文章偏最小二乘回归的线性与非线性方法,但由于下载时间较长,不再提供具体网址,请原作者见谅,谢谢!

    偏最小二乘回归(Partial least-square)是一种新型的多元统计数据分析方法,由 S.Wold 和 C.Albano 等人于 1983 年首次提出。提出。近十年来,在理论、方法和应用方面都取得了飞速发展。 1996年10月,在法国高等商业教育组织的组织和资助下,偏最小二乘回归法的理论与实践学术研讨会在巴黎召开。密歇根大学教授 Fornell 将偏最小二乘回归称为第二代回归分析方法。

    4.3.1 偏最小二乘回归方法的重要性主要体现在以下几个方面:(1)偏最小二乘回归是一种多因变量的回归建模方法其研究的重点是多因变量对多自变量的回归建模,特别是当各个变量的集合内部存在高度相关性时,采用偏最小二乘回归进行回归建模比较多有效地进行多元回归分析和因变量一一比较,结论更可靠,整体性更强。

    (2)偏最小二乘回归可以更好地解决过去普通多元回归无法解决的许多问题。我们在回归建模中经常遇到的最典型的问题就是自变量之间的多元回归相关性。一般来说,为了更完整地描述特征和分析系统,并尽量不遗漏一些重要的系统特征,分析师往往会更周到地选择相关指标。由此构成的多指标系统具有严重的相关性。如果普通最小二乘法方法,这种多重相关性会严重危害参数估计,放大模型误差,破坏模型的鲁棒性。提取是解释最强变量的综合变量,对系统中的噪声和噪声进行识别,从而更好地克服变量多相关在系统建模中的不利影响。

    (3)偏最小二乘回归之所以称为第二代回归方法是因为它可以实现各种数据分析方法的综合应用。偏最小二乘回归可以集成多元回归分析、典型相关的基本功能分析和主成分分析相结合,由于偏最小二乘回归在建模的同时简化了数据结构,因此可以在二维平面图上观察多维数据的特征,从而形成偏最小二乘回归模型。平方回归分析功能非常强大,在一次偏最小二乘回归分析的计算完成后,不仅可以得到因变量对自变量的回归模型,还可以得到两组变量之间的相关性直接在平面图上观察。并观察相似度结构样本点之间的关系。

    (4)偏最小二乘回归法与普通多元回归分析的主要区别在于,它在回归建模过程中采用了信息合成和筛选技术,不直接考虑因变量的​​集合用该组自变量进行回归建模,在变量系统中抽取几个新的对系统解释力最好的综合变量(分量),用于回归建模。可以克服多重相关性导致的信息重叠。由于对变量系统中的信息进行了筛选,系统信息和噪声将得到有效区分,因此偏最小二乘回归方法可以提高系统建模的准确性。

    简介

    偏最小二乘法是一种新的多元统计数据分析方法,由 S.Wold 和 C.Albano 等人于 1983 年首次提出。近几十年来,它在理论、方法和应用方面发展迅速。

    偏最小二乘法

    基于模型的方法和认知方法之间的界限长期以来一直很清楚。偏最小二乘法将它们有机地结合起来。在一种算法下,回归建模(多元线性回归)、数据结构简化(主成分分析)和两组变量之间的相关分析(典型相关分析)。这是多元统计数据分析的飞跃。

    偏最小二乘在统计应用中的重要性体现在以下几个方面:

    偏最小二乘法是多个因变量到多个自变量的回归建模方法。偏最小二乘法可以较好地解决以往普通多元回归无法解决的许多问题。

    偏最小二乘法之所以被称为二代回归法,也是因为它可以实现各种数据分析方法的综合应用。

    主成分回归的主要目的是提取隐藏在矩阵X中的相关信息,然后用它来预测变量Y的值。这种方法保证了我们只使用那些自变量,噪声将被消除,并且预测模型的质量将得到提高。但是,主成分回归仍然存在一定的缺陷。当一些有用变量的相关性很小时,我们在选择主成分时很容易漏掉它们,从而降低了最终预测模型的可靠性。太难选择了。

    偏最小二乘回归可以解决这个问题。它采用分解变量X和Y的方法,同时从变量X和Y中提取成分(通常称为因子),然后根据它们之间的相关性从大到小排列因子。现在,我们要建立一个模型,我们只是决定选择几个因素参与建模

    基本概念

    偏最小二乘回归是多元线性回归模型的扩展。在最简单的形式中,仅使用线性模型来描述自变量 Y 与预测变量组 X 之间的关系:

    Y = b0 + b1X1 + b2X2 + … + bpXp

    在方程中,b0 是截距,bi 的值是数据点 1 到 p 的回归系数。

    例如,我们可以将一个人的体重视为他的身高和性别的函数,并从各个样本点估计回归系数。之后,我们可以根据测量的身高和性别来预测一个人的大致尺寸。重量。对于许多数据分析方法来说,最大的问题是如何准确地描述观察到的数据,并对新的观察结果做出合理的预测。

    为了处理更复杂的数据分析问题,多元线性回归模型扩展了其他一些算法,如判别分析、主成分回归、相关分析等,都是基于多元线性的多元统计方法回归模型。 这些多元统计方法有两个重要特点,即对数据的约束:

    变量X和变量Y的因子必须分别从X’X和Y’Y矩阵中提取出来,这些因子不能同时表示变量X和Y的相关性。

    预测方程的数量永远不能超过变量Y和变量X的数量。

    偏最小二乘回归从多元线性回归扩展而来,对数据没有这些限制。在偏最小二乘回归中,预测方程将由从矩阵 Y’XX’Y 中提取的因子来描述;为了更具代表性,提取的预测方程的数量可能大于变量X和Y的最大数量。

    简而言之,偏最小二乘回归可能是所有多元校正方法中约束最小的变量。这种灵活性使其适用于传统多元校正方法不适合的许多情况,例如一些观察。当数据少于预测变量的数量时。此外,偏最小二乘回归可用作探索性分析工具,在使用传统线性回归模型之前预测所需变量的适当数量并去除噪声。

    因此,偏最小二乘回归被广泛用于建模的许多领域,例如化学、经济学、医学、心理学和药学等,尤其是它可以根据需要任意设置变量。这个优势更加突出。在化学计量学中,偏最小二乘回归已成为标准的多元建模工具。

    计算过程

    基本模型

    作为多元线性回归方法,偏最小二乘回归的主要目的是建立线性模型:Y=XB+E,其中Y为m个变量n个样本点的响应矩阵,X为响应具有 m 个变量和 n 个样本点的矩阵。 p个变量和n个样本点的预测矩阵,B是回归系数矩阵,E是噪声校正模型,与Y具有相同的维度。通常情况下,变量X和Y被归一化并用于计算,也就是说,它们的平均值被减去并除以标准差。

    偏最小二乘回归与主成分回归一样,都是以分数因子作为原始预测变量线性组合的基础,因此用于构建预测模型的分数因子必须是线性无关的。例如:假设我们现在有一组响应变量 Y(矩阵形式)和大量预测变量 X(矩阵形式),其中一些是高度线性相关的,我们使用提取因子方法从这个集合中提取因子计算分数的数据因子矩阵:T=XW偏最小二乘回归的线性与非线性方法,最后找到合适的权重矩阵W,建立线性回归模型:Y=TQ+E,其中Q为矩阵T的回归系数矩阵,E为误差矩阵。一旦计算出Q,前面的方程就等价于Y=XB+E,其中B=WQ,可以直接用作预测回归模型。

    偏最小二乘回归和主成分回归的区别在于分数因子的提取方式。简而言之,主成分回归产生的权重矩阵W反映了预测变量X之间的协方差,而偏最小二乘回归产生的权重矩阵W反映了预测变量X和响应变量Y之间的协方差。

    在建模中,偏最小二乘回归产生pxc的权重矩阵W,矩阵W的列向量用于计算变量X的列向量nxc的得分矩阵T。这些权重被连续计算为最大化响应与其相应评分因子之间的协方差。普通最小二乘回归在计算Y对T的回归时会产生矩阵Q,即矩阵Y的负载因子(或权重),用来建立回归方程:Y=TQ+E。计算出Q后,我们可以推导出方程:Y=XB+E,其中B=WQ,最终的预测模型就成立了。

    非线性迭代偏最小二乘法

    计算偏最小二乘回归的标准算法是非线性迭代偏最小二乘 (NIPALS),其中有许多变量,有些是标准化的,有些不是。下面提到的算法被认为是非线性迭代偏最小二乘中效率最高的一种。

    对于 h=1…c,且 A0=X’Y,M0=X’X,C0=I,变量 c 是已知的。

    计算 qh 的主特征向量 Ah’Ah。

    wh=GhAhqh,wh=wh/||wh||,用wh作为W的列向量。

    ph=Mhwh, ch=wh’Mhwh, ph=ph/ch,并使用 ph 作为 P 的列向量。

    qh=Ah’wh/ch,并以qh作为Q的列向量。

    Ah+1=Ah – chphqh’,Bh+1=Mh – chphph’

    Ch+1=Ch – whph’

    可以计算得分因子矩阵T:T=XW,也可以通过公式B=WQ计算偏最小二乘回归系数B。

    SIMPLS算法

    还有一种估计偏最小二乘回归分量的方法,称为SIMPLS算法。

    对于 h=1…c,且 A0=X’Y,M0=X’X,C0=I,变量 c 是已知的。

    计算 qh 的主特征向量 Ah’Ah。

    wh=Ahqh, ch=wh’Mhwh, wh=wh/sqrt(ch),用wh作为W的列向量。

    ph=Mhwh,以ph为P的列向量。

    qh=Ah’wh,并将qh作为Q的列向量。

    vh=Chph,vh=vh/||vh||

    Ch+1=Ch – vhvh’, Mh+1=Mh – phph’

    Ah+1=ChAh

    同NIPALS,SIMPLS的T由公式T=XW计算,B由公式B=WQ’计算。

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 多因变量对多自变量的回归建模分析,本人拜谢!

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论