简单线性回归ppt课件.ppt

《简单线性回归ppt课件.ppt》由会员分享，可在线阅读，更多相关《简单线性回归ppt课件.ppt（75页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统简单线性回归篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统本章内容本章内容 第一节第一节 简单线性回归简单线性回归 第二节第二节 线性回归的应用线性回归的应用 第三节第三节 残差分析残差分析 第四节第四节 非非线性回归线性回归 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统双双变量量计量量资料：料：每个个体有两个每个个体有两个变量量值 总体：体：无限或有限无限或有限

2、对变量量值 样本：本：从从总体随机抽取的体随机抽取的n对变量量值（X1,Y1）,（X2,Y2）,（Xn,Yn）目的：目的：研究研究X和和Y的数量关系的数量关系 方法：方法：回回归与相关与相关简单、基本、基本直直线回回归、直、直线相关相关第一节第一节 简单线性回归简单线性回归篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 英国人类学家 F.Galton首次在自然遗传一书中，提出并阐明了“相关”和“相关系数”两个概念，为相关论奠定了基础。其后，他和英国统计学家 Karl Pearson对上千个家庭的身高、臂长、拃长（伸开大拇指与中指两端

3、的最大长度）做了测量，发现发现：历史背景：篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 儿子身高（Y，英寸）与父亲身高（X，英寸）存在线性关系：。也即高个子父代的子代在成年之后的身高平均来说不是更高，而是稍矮于其父代水平，而矮个子父代的子代的平均身高不是更矮，而是稍高于其父代水平。Galton将这种趋向于种族稳定的现象称之“回归”篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 “回归”已成为表示变量之间某种数量依存关系的统计学术语，相关并且衍生出“回归方程”“回归系数”

4、等统计学概念。如研究糖尿病人血糖与其胰岛素水平的关系，研究儿童年龄与体重的关系等。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 为了直观地说明直线回归的概念，以15名健康人凝血酶浓度（X）与凝血时间(Y)数据（表12-1）进行回归分析，得到图12-1所示散点图（scatter plot）篮球比赛是根据运动队在规定的比赛

5、时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统No.123456789101112131415X1.11.21.00.91.21.10.90.61.00.91.10.91.11.00.7Y141315151314161714161516141517篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 在定量描述健康人凝血酶浓度（X）与凝血时间(Y)数据的数量上的依存关系时，将凝 血 酶 浓 度称 为 自 变 量(independent variable)，用X 表示；凝血时间称为因变量(dependent v

6、ariable)，用Y 表示篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 由图12-1可见，凝血时间随凝血酶浓度的增加而减低且呈直线趋势，但并非所有点子恰好全都在一直线上，此与两变量间严格的直线函数关系不同，称为直线回归（linear regression）,其其方方程程叫叫直直线线回回归归方方程程，以以区区别别严严格格意意义义的的直直线线方方程程。回回归归是是回回归归分分析析中中最最基基本本、最最简简单单的一种，故又称简单

7、回归。的一种，故又称简单回归。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统样本线回归方程样本线回归方程 为各X处Y的总体均数的估计。简单线性回归模型 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统1a 为回归直线在为回归直线在 Y 轴上的截距轴上的截距a 0，表表示示直直线线与与纵纵轴轴的的交交点点在在原点的上方原点的上方a 0，直线从左下方走向右上方，直线从左下方走向右上方，Y 随随 X 增大而增大；增大而增大；b0，直线从左上方走向右下方，直线从左上方走向右下方，Y

8、 随随 X 增大而减小；增大而减小；b=0，表示直线与，表示直线与 X 轴平行，轴平行，X 与与Y 无直线关系无直线关系b 的统计学意义是：的统计学意义是：X 每增加每增加(减减)一个单位，一个单位，Y 平均改变平均改变b个单位个单位 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统回归模型的前提假设回归模型的前提假设o线性回归模型的前提条件是：线性线性(linear)独立独立(independent)正态正态(normal)等方差等方差(equal variance)篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，

9、篮球比赛的计时计分系统是一种得分类型的系统 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统残差(residual)或剩余值，即实测值Y与假定回归线上的估计值 的纵向距离 。求解a、b实际上就是“合理地”找到一条能最好地代表数据点分布趋势的直线。原则：最小二乘法(least sum of squares)，即可保证各实测点至直线的纵向距离的平方和最小回归参数的估计回归参数的估计最小二乘原则最小二乘原则 篮球比赛是根据运动队在规定

10、的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 回归参数的估计方法回归参数的估计方法 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统本例：n=15 X=14.7 X2=14.81 Y=224 XY=216.7 Y2=3368篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因

11、此，篮球比赛的计时计分系统是一种得分类型的系统解题步骤篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统3、计算有关指标的值4、计算回归系数和截距5、列出回归方程篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 此直此直线必然通必然通过点点(,)且与且与纵坐坐标轴相交于相交于截距截距a。如果散点。如果散点图没有从坐没有从坐标系原点开系原点开始，可在自始，可在自变量量实测范范围内内远端取易于端取易于读数的数的值代入回代入回归方程得到一个点的坐方程得到一个点的坐标，连接此点与点接此

12、点与点(,)也可也可绘出回出回归直直线。绘制回归直线绘制回归直线篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统总体回归系数总体回归系数的的的统计推断样本回归系数样本回归系数b的标准误的标准误 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统回归方程的假设检验 建立样本直线回归方程，只是完成了统计分析中两变量关系的统计描述，研究者还须回答它所来自的总体的直线回归关系是否确实存在，即是否对总体有？篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计

13、分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统1方差分析 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统Y的离均差，总变异残差回归的变异篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统数理统计可证明：篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计

14、分系统是一种得分类型的系统上式用符号表示为 式中 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统上述三个平方和，各有其相应的自由度 ，并有如下的关系：篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 如果两变量间总体回归关系确实存在，回归的贡献就要大于随机误差，大到何种程度时可以认为具有统计意义，可计算统计量F:篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负

15、的，因此，篮球比赛的计时计分系统是一种得分类型的系统式中篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统t 检验 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统（1）方差分析篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 方差分析表 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统（2）t 检验参数的意义是：若自变量X增加一个单位，反因变量Y的平均值便增

16、加 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统注意：篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统总体回归系数 的可信区间 利用上述对回归系数的t检验，可以得到的1双侧可信区间为篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 本例b=-6.9802,自 由 度=13，t0.05,13=2.16，Sb=0.78655,代入公式（12-7）得参数的95%置信区间为 =（-8.6791 -5.2813）篮球比赛是

17、根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统第二 节 线性回归的应用（估计和预测）篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统反映其抽样误差大小的标准误为篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o例12-1中，第一观测值X1=1.1，0.4994，0.404，代入（12.8）式获得第一观测点X1对应的 的

18、标准误为 0.1599Y的总体均数的95%置信区间为 14.0957(2.16)(0.1599)（13.7502，14.4412）篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统实测值实测值预测Y的均值Y的均值的标准误Y的均值的95%置信区间Y值的95%预测区间残差对象实测值 X实测值 Y预测值均值均值的标准误Y均值的95%CIY值的95%预测区间残差下限上限下限上限11.11414.09570.159913.750214.441212.961815.2297-0.095721.21313.39770.215912.931313.86

19、4112.221214.5741-0.397731.01514.79370.130014.512815.074713.677715.90970.206340.91515.49170.143615.181515.802014.368016.6155-0.491751.21313.39770.215912.931313.864112.221214.5741-0.397761.11414.09570.159913.750214.441212.961815.2297-0.095770.91615.49170.143615.181515.802014.368016.61550.508380.61717.

20、58580.325616.882518.289216.296918.8747-0.585891.01414.79370.130014.512815.074713.677715.9097-0.7937100.91615.49170.143615.181515.802014.368016.61550.5083111.11514.09570.159913.750214.441212.961815.22970.9043120.91615.49170.143615.181515.802014.368016.61550.5083131.11414.09570.159913.750214.441212.96

21、1815.2297-0.0957141.01514.79370.130014.512815.074713.677715.90970.2063150.71716.88780.255316.336317.439315.675118.10050.1122篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o以上是给定某一X值时所对应的总体均数的置信区间。当同时考虑X的所有可能取值时，总体均数的点估计就是根据样本算得的回归直线 o（1-）置信区间的上下限连起来形成一个弧形区带，称为回归直线的（1-）置信带（confidence band）。同样，

22、因为其标准误是X的函数，所以在均数（）点处置信带宽度最小，越远离该均数点，置信带宽度越大。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o图12-4中，左图显示位于最小二乘回归线上下两侧的两条弧形虚线为总体回归线的（1-）置信区带。右图的实线表示可能的总体回归线，它们落在弧形虚线所确定的置信带内。o（1-）置信带的意义是：在满足线性回归的假设条件下，可以认为真实的回归直线落在两条弧形曲线所形成的区带内,置信度为（1-）篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛

23、是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o以第一观测点数据（X1=1.1）点为例，该点预测值的标准差为 o =0.52489182 o第一数据点的预测区间为：14.0957(2.16)(0.0.5249)=12.961815.2297o当同时考虑X的所有可能取值时，个体Y值的95%预测区间形成一个带子，称为Y值的95%预测带，它比总体回归线95%置信带更宽。图12-5和图12-6同时显示个体Y值的预测带与总体回归线的置信带，可见

24、，在相同信度下，个体值预测带的曲线要比回归线置信带的曲线离回归直线更远。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统PICI篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统决定系数(coefficient of determination)定义为回归平方和与总平方和之比，计算公式为：取值在0到1之间且无单位，其数值大小反映了回归贡献的相对程度，也就是在Y的总变异中回归关系所能解释的百分比。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分

25、系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统第三节第三节 残差分析残差分析 o残差残差（residual）是指观测值Yi与回归模型拟合值之差 o 残差分析(residual analysis)旨在通过残差深入了解数据与模型之间的关系，评价实际资料是否符合回归模型假设，识别异常点等。o例如，第一数据点的残差e1=14-14.0957=-0.0957，如此类推，计算出各数据点的残差值示于表12-2的第10列中。将第10列的残差减去其均数，除以其标准差，便得标准化残差。篮球比赛是根据运动队在规定的比赛时间里得分多

26、少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统若以反因变量取值Yi为横坐标，以标准化残差为纵坐标，构成的散点图如图12-7所示。类似地，也可以自变量取值Xi为横坐标,以标准化残差为纵坐标，构成的散点图。这类散点图统称为标准化残差图。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o图12-8给出的是以自变量取值为纵坐标，以残差为横坐标的残差图的常见类型。其中，图(e)显示残差呈随机分布；图(a)、(b)和(f)表示残差不满足方差齐性条件；图(c)显示存在非线性关系；图(d)显示有的点处于2倍标准差以外，可能是异常点。

27、篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统第四节第四节 非线性回归非线性回归o非线性回归要比线性回归更能充分地表达变量间的关系。当今线性回归之所以比非线性回归应用甚多，原因在于无论从数学理论还是计算方法，线性回归都比非线性回归模型简单得多。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o通过自变量的变换实现线性化通过自变量的变换实现线性化实践中有两类非线性关系，

28、一类是通过自变量X的适当变换可线性化的，另一类是不可能通过自变量X的变换实现线性化的 X数据变换不能线性化的关系不能线性化的关系篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统变换自变量实现线性回归步骤变换自变量实现线性回归步骤 1.将观测数据(Xi,Yi),i=1,2,n作散点图，观察散点分布特征类似于何种函数类型；2.按照所选定的函数进行相应的变量变换；3.对变换后的数据用常规最小二乘法（OLS）作线性模型的参数估计。4.一般拟合多个相近的模型，然后通过对各个模型的拟合优度评价挑选较为合适的模型。篮球比赛是根据运动队在规定的比赛时

29、间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o例12-2 为了研究某药物浓度与肾上腺素释放的量关系，选取10个给药物浓度水平，每种药物剂量水平上重复5次试验，观测结果如表12-3所示。欲用合适的回归模型描述该药品剂量与反应的规律 篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统药物剂量（mg）肾上腺素释放量（pg/ml）1519.2614.2917.6018.3616.532021.2021.7820.7720.6523.382521.7722.6122.7021.1721.653023.4723.222

30、1.7424.0224.053523.8825.3222.9024.8423.704025.2724.6924.6724.4825.244524.2024.9425.5225.0227.435027.9825.8826.6726.3125.945527.4224.9126.4228.2425.496028.4127.0929.0428.8527.89篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o由结果可见：在所拟合的三种模型

31、中，以x对数函数回归的效果最佳，该模型拟合的残差均方最小，决定系数最大 模型名称回归方程MSEF值P值R2值简单线性1.91786212.480.00010.8157对数函数1.39592309.88.00010.8659二次函数2.72770135.050.00010.852篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统o值得一提的是，本节只涉及对自变量X进行变换，然后以变换后的数据用标准最小二乘（OLS）法求解模型的参数估计与模型评价。当涉及到对反因变量y实施非线性变换 如Z=ln(Y)时，因为OLS只保证变换后的Z，即ln(Y

32、)的残差平方和最小，并不能保证原变量Y的残差平方和也最小,所以在此情况下，我们建议用统计软件来完成非线性拟合，例如,用SAS系统中的PROC NLIN 程序产生非线性模型参数的最小二乘估计。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 直线回归应用的注意事项直线回归用于定量刻画因变量Y对自变量X在数值上的依存关系，其中因变量的定夺主要依专业要求而定，可以考虑把易于精确测量的变量作为X，另一个随机变量作Y，例如用身高估计体表面积。两个变量的选择一定要结合专业背景，不能把毫无关联的两种现象勉强作回归分析。1根据分析目的选择变量及统计方

33、法篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统2进行回归分析前应绘制散点图（1）散点图可考察两变量是否有直线趋势；（2）可发现异常点（outlier）。散点图对异常点的识别与处理需要从专业知识和现有数据两方面来考虑，结果可能是现有回归模型的假设错误需要改变模型形式，也可能是抽样误差造成的一次偶然结果甚至过失误差。需要认真核对原始数据并检查其产生过程认定是过失误差，或者通过重复测定确定是抽样误差造成的偶然结果，才可以谨慎地剔除或采用其它估计方法。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统

34、是一种得分类型的系统3资料的要求 直线回归要求至少对于每个 X 相应的 Y 要服从正态分布，X可以是服从正态分布的随机变量也可以是能精确测量和严格控制的非随机变量；*对于双变量正态分布资料，根据研究目的可选择由 X 估计 Y 或者由 Y 估计 X，一般情况下两个回归方程不相同）。篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统 反应两变量关系密切程度或数量上影响大小的统计量应该是回归系数的绝对值，而不是假设检验的P值。P值越小只能说越有理由认为变量间的直线关系存在，而不能说关系越密切或越“显著”。另外，直线回归用于预测时，其适用范围一般不应超出样本中自变量的取值范围。4结果解释及正确应用