简单相关与简单回归.ppt

《简单相关与简单回归.ppt》由会员分享，可在线阅读，更多相关《简单相关与简单回归.ppt（63页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第九章第九章简单相关与简单回归简单相关与简单回归第一节第一节 概念概念复习：中学数学中的函数关系复习：中学数学中的函数关系 自然界中：现象之间的关系自然界中：现象之间的关系 性状之间的关系性状之间的关系 依变量和因变量之间的关系：依变量和因变量之间的关系：人的身高与年龄的关系人的身高与年龄的关系疫病的发生与消毒的关系疫病的发生与消毒的关系 等等等等这些关系在取得数据后可以进行量化、也可以用某这些关系在取得数据后可以进行量化、也可以用某一个关系式来表示，这就是相关和回归一个关系式来表示，这就是相关和回归变量之间的关系有以下几种：变量之间的关系有以下几种：两个变量的关系：两个变量的关系：与与 简单

2、相关（线性关系）简单相关（线性关系）曲线相关（非线性关系）曲线相关（非线性关系）+多项式多项式 多个变量的关系：多个变量的关系：多元相关（线性关系）多元相关（线性关系）与与 （非线性关系）（非线性关系）典范相关典范相关 与与第二节第二节 相关关系相关关系一、相关系数的确定一、相关系数的确定对某一个样品，同时测量其两个指标（或性状），对某一个样品，同时测量其两个指标（或性状），得到两个变量，一个记为得到两个变量，一个记为 x，另一个记为，另一个记为 y每一样品就有一对每一样品就有一对 x 和和 y，共观测了，共观测了 n 个样品，因个样品，因而记录了而记录了 n 对（对（x，y）将这将这 n 对

3、（对（x，y）在一个直角坐标系内描点，并观）在一个直角坐标系内描点，并观察这些点的位置、排列和趋向察这些点的位置、排列和趋向这些点排列得越整齐，表明这两个变量的关系越紧这些点排列得越整齐，表明这两个变量的关系越紧密，即这两个指标的关系越密切密，即这两个指标的关系越密切反之，则表示这两个指标的关系越松散反之，则表示这两个指标的关系越松散两个指标的这种关系及其性质可以用一个数值来表两个指标的这种关系及其性质可以用一个数值来表示，这个数值就是相关系数示，这个数值就是相关系数在已经描点的直角坐标系中找到这些点的中心位置在已经描点的直角坐标系中找到这些点的中心位置将直角坐标系平移到以将直角坐标系平移到以

4、 为新原点的位置上，为新原点的位置上，所有点的相对位置并没有变，但各个点的坐标值所有点的相对位置并没有变，但各个点的坐标值变了，即由原来的变了，即由原来的 变为变为并被新坐标系分到并被新坐标系分到 4 个象限中个象限中分布在分布在、象限内的点其坐标乘积为象限内的点其坐标乘积为分布在分布在、象限内的点其坐标乘积为象限内的点其坐标乘积为求所有点的坐标乘积和求所有点的坐标乘积和这一坐标乘积和将出现三种情况：这一坐标乘积和将出现三种情况：表示分布在表示分布在、象限内的点多象限内的点多 表示分布在表示分布在、象限内的点多象限内的点多 表示这些点在表示这些点在 4个象限内分布很个象限内分布很均匀均匀 称为

5、离均差乘积和，简称乘积和：称为离均差乘积和，简称乘积和：SP第一、二两种情况所得到的数值的绝对值越大，就表第一、二两种情况所得到的数值的绝对值越大，就表示两个变量的关系越紧密示两个变量的关系越紧密因此我们可以用乘积和的大小来表示两个变量关系的因此我们可以用乘积和的大小来表示两个变量关系的性质和密切程度性质和密切程度但但 x、y 是有单位的，且变异程度也不同，每批资料是有单位的，且变异程度也不同，每批资料所得到的数值对子数也不等所得到的数值对子数也不等因此，应对变量进行标准化，将其化成相对数，相乘因此，应对变量进行标准化，将其化成相对数，相乘并相加后再行平均并相加后再行平均对总体而言，我们可以得

6、到：对总体而言，我们可以得到：对样本而言，就得到：对样本而言，就得到：和和 是纯量，无单位，可以用来表示不同总体和是纯量，无单位，可以用来表示不同总体和样本两个变量的密切程度和性质样本两个变量的密切程度和性质 称为双变量总体的相关系数称为双变量总体的相关系数 称为双变量样本的相关系数称为双变量样本的相关系数样本的相关系数还可以这样写：样本的相关系数还可以这样写：即分子为乘积和，或协方差即分子为乘积和，或协方差分母为两变量平方和的乘积平方根，或两个标准差分母为两变量平方和的乘积平方根，或两个标准差相关系数的性质和取值范围：相关系数的性质和取值范围：当大多数点在当大多数点在、象限时，象限时，则则当

7、大多数点在当大多数点在、象限时，象限时，则则当所有的点：或全在当所有的点：或全在、象限，或全在象限，或全在、象象限内，则这些点必排成一条直线，这时，限内，则这些点必排成一条直线，这时，这就是函数关系，函数关系在生物界是不存在的这就是函数关系，函数关系在生物界是不存在的当这些点很均匀地分散于当这些点很均匀地分散于4个象限时，我们有：个象限时，我们有：则则 或或 ，表示两变量不相关，称为零相关，表示两变量不相关，称为零相关零相关在生物界中也很少存在零相关在生物界中也很少存在 的取值范围为的取值范围为 ，的绝对值越大，表示两的绝对值越大，表示两变量的关系越紧密；反之，变量的关系越紧密；反之，的绝对值

8、越小，则的绝对值越小，则表示两变量的关系越松散表示两变量的关系越松散在实际工作中，我们总是以样本的相关系数在实际工作中，我们总是以样本的相关系数 来估来估计总体相关系数计总体相关系数 ，因此，因此，也有以上这些性质也有以上这些性质在生物学科中，许多变量的关系是不确定的，因此在生物学科中，许多变量的关系是不确定的，因此用一个数量关系来表示两变量的关系就尤为重要用一个数量关系来表示两变量的关系就尤为重要在讨论两变量的关系时，有两种情况需要考虑：在讨论两变量的关系时，有两种情况需要考虑：如果仅考虑两变量关系的性质及密切程度，而不考如果仅考虑两变量关系的性质及密切程度，而不考虑两者的依从关系或因果关系

9、，这两变量是平行虑两者的依从关系或因果关系，这两变量是平行的，仅仅为了方便和人为的需要，将其中一个作的，仅仅为了方便和人为的需要，将其中一个作为为 x，另一个作为，另一个作为 y，这样所得到的数学关系称为，这样所得到的数学关系称为相关模型相关模型如果两变量的确有主从关系或因果关系，而我们也如果两变量的确有主从关系或因果关系，而我们也希望知道两者的变化规律，这样的数学关系就称希望知道两者的变化规律，这样的数学关系就称为为回归模型回归模型相关模型和回归模型两者关系紧密，但性质不同相关模型和回归模型两者关系紧密，但性质不同这由两变量在不同的模型中所扮演的角色能看出来这由两变量在不同的模型中所扮演的角

10、色能看出来决定系数决定系数 的取值范围为的取值范围为 ，且均为正值，因此，且均为正值，因此 不能表不能表示两变量的性质示两变量的性质 的含义是：在变量的含义是：在变量 x 和和 y 的总变异中，可以相互的总变异中，可以相互用线性关系说明的部分在总变异中所占的比例用线性关系说明的部分在总变异中所占的比例在很多情况下，用在很多情况下，用 来表示两变量的关系，有可能来表示两变量的关系，有可能会夸大相关的程度，而使用会夸大相关的程度，而使用 则可以更真实地反则可以更真实地反映两变量的关系映两变量的关系 如当如当 时，才有时，才有 ，即变量，即变量 x 和和 y 的的线性关系所占的比例才超过线性关系所占

11、的比例才超过 50%二、相关系数的计算二、相关系数的计算相关系数的实际使用公式为：相关系数的实际使用公式为：（请推导（请推导 ）例：测定某消毒药物的使用量例：测定某消毒药物的使用量 x（）和消毒）和消毒效果效果 y（以所饲养的实验鸡的健康率表示）两者（以所饲养的实验鸡的健康率表示）两者数据如下，试分析这两个变量的相关关系：数据如下，试分析这两个变量的相关关系：x 30 35 40 45 50 55 60 y 73 78 87 88 93 94 96首先计算一级数据：首先计算一级数据：三、相关系数的显著性检验三、相关系数的显著性检验相关系数是否显著（即是否具有真实性），应对其相关系数是否显著（即

12、是否具有真实性），应对其进行检验检验的假设是：进行检验检验的假设是：检验的方法是检验的方法是 t-test：但我们可以由但我们可以由 t-公式反推出公式反推出 的临界值的临界值 来：来：已制成现成的已制成现成的 值表，因此只需将求得的值表，因此只需将求得的 在相应在相应自由度下查表，与表中的自由度下查表，与表中的 相比较即可相比较即可本例中，本例中，否定否定 ，接受，接受 ，即所得相关系数是极显著的，即所得相关系数是极显著的或：查附表或：查附表15，得，得所得所得 是极显著的是极显著的所谓所谓 显著或显著或 极显著，就是说，有极显著，就是说，有 95%或或 99%的的把握认为这一把握认为这一

13、是真实存在的，或这两个变量间是真实存在的，或这两个变量间的确存在相关的确存在相关如果如果 不显著，并不能简单地认为这两个变量间不不显著，并不能简单地认为这两个变量间不存在相关，因为可能还有其他原因存在相关，因为可能还有其他原因相关系数的分等相关系数的分等完全相关：完全相关：零相关：零相关：弱相关：弱相关：中等相关：中等相关：强相关：强相关：-1 -0.67 -0.33 0 0.33 0.67 1 四、相关系数的置信区间四、相关系数的置信区间在在 的总体中，的总体中，的抽样分布并不服从的抽样分布并不服从 t-分布或分布或正态分布，因此在确定正态分布，因此在确定 的置信区间时应对的置信区间时应对

14、进进行行 转换转换然后根据然后根据 作关于作关于 的的 的置信区间的置信区间然后将这一置信区间反转换成然后将这一置信区间反转换成 的置信区间的置信区间具体步骤如下：具体步骤如下：将将 转换成转换成 ：本例中：本例中：求求 的总体参数的总体参数 及及 ：本例中：本例中：的置信下、上限：的置信下、上限：本例中：本例中：的置信区间：的置信区间：本例中：本例中：将将 的置信区间转换为的置信区间转换为 的置信区间：的置信区间：本例中：本例中：的置信区间：的置信区间：本例中：本例中：显然，相关系数的置信区间是偏态的显然，相关系数的置信区间是偏态的第三节第三节 直线回归直线回归简单相关说明两变量或两性状间是

15、否存在相关关系简单相关说明两变量或两性状间是否存在相关关系及这种关系的密切程度和性质及这种关系的密切程度和性质当一个变量（或性状）是当一个变量（或性状）是因因，而另一变量（或性状），而另一变量（或性状）是是果果；或两变量间虽无因果关系，但一个变量；或两变量间虽无因果关系，但一个变量易易测测，而另一变量，而另一变量难测难测（或虽易测，但必须经过破（或虽易测，但必须经过破坏，或测定成本太高），而两变量间有较好的相坏，或测定成本太高），而两变量间有较好的相关性，我们希望通过对一个变量的测定来预测另关性，我们希望通过对一个变量的测定来预测另一变量，或通过因预测果一变量，或通过因预测果这种因果之间依存关

16、系的研究就称为这种因果之间依存关系的研究就称为回归分析回归分析例如，前一例中消毒药物的使用量与消毒效果之间例如，前一例中消毒药物的使用量与消毒效果之间显然，消毒药物的使用量（因，显然，消毒药物的使用量（因，x）直接影响了消毒）直接影响了消毒效果（果，效果（果，y）第二例中鸡年产蛋量（因，第二例中鸡年产蛋量（因，x）直接影响了养鸡户的）直接影响了养鸡户的纯利收入（果，纯利收入（果，y）诸如此类的变量间的关系研究在科研工作中是很多诸如此类的变量间的关系研究在科研工作中是很多的的回归分析表现了两变量间一种比较严格的从属关系，回归分析表现了两变量间一种比较严格的从属关系，是用严格的函数关系将一种非确定

17、性的关系确定是用严格的函数关系将一种非确定性的关系确定下来的过程下来的过程如果两变量间的变化规律呈大致的直线关系，就应如果两变量间的变化规律呈大致的直线关系，就应当将这条最佳直线找出来，并用一个回归方程来当将这条最佳直线找出来，并用一个回归方程来描述这条直线，从而可以从一个变量描述这条直线，从而可以从一个变量 x 的变化来的变化来预测另一个变量预测另一个变量 y 的变化的变化一、直线回归方程的配合一、直线回归方程的配合X 与与 y 的直线回归方程的一般形式为：的直线回归方程的一般形式为：是是 y 的估计值，的估计值，与实际的与实际的 y间会有一定的差异，间会有一定的差异，当当 完全等于完全等于

18、 y 时，就是普通数学中的函数关系时，就是普通数学中的函数关系每一个每一个 x 都会有一个相应的都会有一个相应的 x 为自变量，该直线回归方程的读法是：为自变量，该直线回归方程的读法是：y 依依 x 的直线回归的直线回归方程中，方程中，a 是直线在是直线在 y 轴上的截距，轴上的截距，b 是回归系数是回归系数在数学中，在数学中，b 即为斜率即为斜率即当即当 x 每变化一个单位时，依变量每变化一个单位时，依变量 y 的平均变化量的平均变化量因此，因此，b 是有单位的，其单位是：是有单位的，其单位是：我们可以将（我们可以将（x，y）在坐标系内作散点图，这些散）在坐标系内作散点图，这些散点越趋向一条

19、直线，回归方程就越理想点越趋向一条直线，回归方程就越理想但根据这些散点我们可以作出无数条直线，到底哪但根据这些散点我们可以作出无数条直线，到底哪一条直线是最好的？我们如何判断？一条直线是最好的？我们如何判断？判断直线好坏的标准是：这条直线与所有散点的距判断直线好坏的标准是：这条直线与所有散点的距离最近离最近即通过即通过 x 所预测的所预测的 与实际的与实际的 y 的误差应比任何其的误差应比任何其他直线的都来得小他直线的都来得小因此，配合直线所使用的原则和方法是因此，配合直线所使用的原则和方法是最小二乘法最小二乘法用最小二乘法所得到的回归直线满足如下两个条件：用最小二乘法所得到的回归直线满足如下

20、两个条件：称之为离差平方和称之为离差平方和即用即用 估计估计 y 时的误差最小时的误差最小对对 Q 求求 a、b 的偏微分，并令之为的偏微分，并令之为 0：整理之：整理之：解之：解之：将所得将所得 a、b 两值代入方程两值代入方程 ，即得一个能，即得一个能满足上述两条件的回归方程满足上述两条件的回归方程B 的符号取决于分子，因此的符号取决于分子，因此 b 的符号与的符号与 r 的符号相的符号相同同b0 时，时，x 增大，增大，y 也增大，即两变量为正相关也增大，即两变量为正相关b2=SHIFTS-SUM1=SHIFTS-SUM3=SHIFTS-VAR1=SHIFTS-VAR3=SHIFTS-V

21、AR1=SHIFTS-VAR3=SHIFTS-VAR1=SHIFTS-VAR2=SHIFTS-VAR3=如果输入一个如果输入一个 x，希望得到一个希望得到一个 y 的估计值的估计值：x如果输入一个如果输入一个 y，希望得到一个希望得到一个 x 的估计值的估计值：ySHIFTS-VAR2=SHIFTS-VAR1=四、回归系数与相关系数的关系四、回归系数与相关系数的关系即相关系数是标准化了的回归系数即相关系数是标准化了的回归系数同理，可得同理，可得两者相乘，两者相乘，即即 即为前面讨论过的决定系数，即相关系数是两个即为前面讨论过的决定系数，即相关系数是两个方向相反的回归系数的几何平均值方向相反的回

22、归系数的几何平均值 相关系数和回归系数的区别和联系：相关系数和回归系数的区别和联系：相关系数是一个纯量，没有单位；相关系数是一个纯量，没有单位；回归系数是有单位的：回归系数是有单位的：相关系数没有方向，相关系数没有方向，回归系数是有方向的：回归系数是有方向的：为为 y 对对 x 的回归，的回归，为为 x 对对 y 的回归的回归相关系数的分布范围为：相关系数的分布范围为：回归系数的分布范围为：回归系数的分布范围为：两者的关系：两者的关系：五、直线回归的估计标准误五、直线回归的估计标准误（一）总平方和的剖分（一）总平方和的剖分 的建立，表示了的建立，表示了 x 与与 y 的关系及其变化规的关系及其

23、变化规律律每一个每一个 y 都存在着变异，这一变异的大小可用都存在着变异，这一变异的大小可用 y 的的离均差平方和离均差平方和 表示表示 又称为总平方和，即又称为总平方和，即结合每一个结合每一个 x 的预测点的预测点 ，可分为两部分：可分为两部分：其中其中 称为回归平方和，它是由称为回归平方和，它是由 x 的变化所引起的的变化所引起的y 的变化的变化它反映了总变异中由于它反映了总变异中由于 x 与与 y 的线性关系所引起的的线性关系所引起的 y 的变化部分，可用的变化部分，可用 U 表示表示 称为离回归平方和，用称为离回归平方和，用 Q 表示，这是建立表示，这是建立直线回归方程的依据，这是实际

24、观测值与预测值直线回归方程的依据，这是实际观测值与预测值之间的离差，是之间的离差，是 x 对对 y 线性关系以外的一切因素线性关系以外的一切因素对对 y 变异的作用变异的作用因此，因此，回归平方和回归平方和 U 和离回归平方和和离回归平方和 Q 的大小可用来检验的大小可用来检验回归效果的好坏回归效果的好坏U 在总平方和中的比例（就是决定系数在总平方和中的比例（就是决定系数 ）越）越大，说明由大，说明由 x 预测预测 y 的准确性就越高的准确性就越高即即即总平方和可以剖分成两部分：相关平方和即总平方和可以剖分成两部分：相关平方和 ，和非相关平方和和非相关平方和（二）直线回归方程的估计标准误二）直

25、线回归方程的估计标准误 表示了表示了 x 对对 y 线性影响之外的一切因线性影响之外的一切因素对素对 y 变异的作用变异的作用因此，因此，Q 越大，方程的预测效果就越差，即观测值越大，方程的预测效果就越差，即观测值离回归直线愈远，因此可以用离回归直线愈远，因此可以用 Q 来估计直线回归来估计直线回归的标准误：的标准误：在上例中：在上例中：该例的回归直线估计标准误即为：该例的回归直线估计标准误即为：六、直线回归的假设检验六、直线回归的假设检验（一）直线回归关系或回归系数的（一）直线回归关系或回归系数的 t-test样本样本 是对总体是对总体 的估计的估计因此，应对因此，应对 进行检验，检验该样本

26、直线回进行检验，检验该样本直线回归来自无直线回归关系的总体的概率归来自无直线回归关系的总体的概率当这一概率当这一概率 p0.05 时，才能认为样本回归方程所时，才能认为样本回归方程所代表的总体的确存在着直线回归关系代表的总体的确存在着直线回归关系这就是回归关系的假设检验这就是回归关系的假设检验设立无效假设设立无效假设回归系数回归系数 b 的标准误的标准误进行进行 t-test：上例中：上例中：即我们有即我们有 99%的把握认为这一总体回归是存在的的把握认为这一总体回归是存在的显然，我们可以看出，对相关系数的检验和对回归显然，我们可以看出，对相关系数的检验和对回归系数的检验两者是同步的系数的检验

27、两者是同步的因此，因此，r 显著，显著，b 必显著；反之必显著；反之 b 显著，显著，r 亦必显著亦必显著由于对由于对 r 的检验只需查表即可，比较容易，因此只的检验只需查表即可，比较容易，因此只需对需对 r 检验即完成检验工作检验即完成检验工作相关分析和回归分析的一般程序是：相关分析和回归分析的一般程序是：首先作相关分析；对相关系数进行显著性检验；若首先作相关分析；对相关系数进行显著性检验；若相关系数显著，进行回归分析相关系数显著，进行回归分析数据整理数据整理 相关分析相关分析 r显著？显著？no end yes 回归分析回归分析（二）回归关系的方差分析（二）回归关系的方差分析 可分解成回归

28、平方和可分解成回归平方和 U 和离回归平方和和离回归平方和 Q 也可分解成回归自由度也可分解成回归自由度 和离回归自由度和离回归自由度因此，可用方差分析来检验线性回归关系的显著性因此，可用方差分析来检验线性回归关系的显著性方差分析的公式是：方差分析的公式是：我们也可以写出相应的方差分析表我们也可以写出相应的方差分析表上例中，上例中，由于方差分析的由于方差分析的 F 值等于值等于 t 的平方，因此，对回归的平方，因此，对回归关系的方差分析等同于对回归系数的关系的方差分析等同于对回归系数的 t-test，而对，而对回归系数的回归系数的 t-test 又等同于对相关系数的又等同于对相关系数的 t-t

29、est，因此在实际操作中，只需对相关系数因此在实际操作中，只需对相关系数 r 进行显著进行显著性检验就可以了性检验就可以了（三）回归系数的置信区间（三）回归系数的置信区间 遵循遵循 的的 t-分布，因此，总体分布，因此，总体 的的95%置信区间为：置信区间为：上例中：上例中：同理：同理：回归系数也可以写成回归系数也可以写成 的形式的形式上例：上例：第四节第四节 直线相关与直线回归分析的应用直线相关与直线回归分析的应用和注意点和注意点一、相关分析和回归分析的应用一、相关分析和回归分析的应用1、应用相关系数和回归分析能更全面地分析问题应用相关系数和回归分析能更全面地分析问题2、进行预测预报进行预测

30、预报3、进行间接估测进行间接估测4、校正校正5、回归分析与方差分析相结合进行协方差分析回归分析与方差分析相结合进行协方差分析二、应用相关系数和回归分析的注意事项二、应用相关系数和回归分析的注意事项1、变量间是否存在相关，必须结合专业知识和实践、变量间是否存在相关，必须结合专业知识和实践经验加以判断经验加以判断2、两变量间的相关系数如不显著，不等于两变量间、两变量间的相关系数如不显著，不等于两变量间无相关，仅说明线性关系不显著，因此必要时应无相关，仅说明线性关系不显著，因此必要时应寻找其他类型的相关和回归，如非线性相关寻找其他类型的相关和回归，如非线性相关3、相关系数显著，且同时存在、相关系数显

31、著，且同时存在 时才能将回时才能将回归方程用于预测预报归方程用于预测预报4、估计两变量间的相关时，必须将其余可能对这一、估计两变量间的相关时，必须将其余可能对这一相关产生影响的变量严格地控制起来相关产生影响的变量严格地控制起来5、样本量应尽可能大一些，样本量、样本量应尽可能大一些，样本量 n与变量数与变量数 m的的关系是：关系是：6、自变量、自变量x的取值范围应就可能大一些，以找到真正的取值范围应就可能大一些，以找到真正的回归关系的回归关系7、回归直线不得任意外延、回归直线不得任意外延8、尽量避免一个变量中包含另一个变量，这样变量、尽量避免一个变量中包含另一个变量，这样变量中有可能包含自身相关的部分中有可能包含自身相关的部分相关分析和回归分析是一个十分有用的工具，但不是相关分析和回归分析是一个十分有用的工具，但不是万能的，因此使用相关分析和回归分析时应注意其万能的，因此使用相关分析和回归分析时应注意其特殊性特殊性 (*)end