第一章 统计案例
a. 比《数学3》中“回归”增加的内 选修1-2——统计案例 容 数学3——统计
1. 画散点图 2. 了解最小二乘法 的思想 3. 求回归直线方程 y=bx+a 4. 用回归直线方程 解决应用问题 5. 引入线性回归模型 y=bx+a+e 6. 了解模型中随机误差项e产 生的原因 7. 了解相关指数 R2 和模型拟 合的效果之间的关系 8. 了解残差图的作用 9. 利用线性回归模型解决一类 非线性回归问题 10. 正确理解分析方法与结果
复习:变量之间的两种关系
问题1:正方形的面积y与正方形的边长x之间 的函数关系是 确定性关系 y = x2 问题2:某水田水稻产量y与施肥量x之间是否 -------有一个确定性的关系? 例如:在 7 块并排、形状大小相同的试验田 上 进行施肥量对水稻产量影响的试验,得到 如下所示的一组数据:
施化肥量x 15
20
25
30
35
40
45
水稻产量y 330 345 365
405 445
450 455
1、定义:
自变量取值一定时,因变量的取值带有一定随
机性的两个变量之间的关系叫做相关关系。 注 1):相关关系是一种不确定性关系; 2):对具有相关关系的两个变量进行 统计分析的方法叫回归分析。
2、现实生活中存在着大量的相关关系。
如:人的身高与年龄; 产品的成本与生产数量;
商品的销售额与广告费;
家庭的支出与收入。等等 探索:水稻产量y与施肥量x之间大致有何 规律?
施化肥量x 15
20
25
30
35
40
45
水稻产量y 330 345 365 y
500 450 400 350 300 10
405 445
450 455
散点图
水稻产量
··
20
·
·
·· ·
施化肥量
30
40
50
x
发现:图中各点,大致分布在某条直线附近。
探索2:在这些点附近可画直线不止一条, 哪条直线最能代表x与y之间的关系呢?
案例1:女大学生的身高与体重
例1 从某大学中随机选取8名女大学生,其身高和体重数据如表1-1所示。
1 2 3 4 5 6 7 8 编号 身高/cm 165 165 157 170 175 165 155 170 体重/kg 48 57 50 54 64 61 43 59
求根据一名女大学生的身高预报她的体重的回归方程,并预报一名身高为 172cm的女大学生的体重。 解:1、选取身高为自变量x,体重为因变量y,作散点图: 2、由散点图知道身高和体重有比较好的 线性相关关系,因此可以用线性回归方程 刻画它们之间的关系。 产生随机误差项e 3、从散点图还看到,样本点散布在某一条 的原因是什么? 直线的附近,而不是在一条直线上,所以 不能用一次函数y=bx+a描述它们关系。
思考P3
我们可以用下面的线性回归模型来表示: y=bx+a+e,其中a和b为模型的未知参数, e称为随机误差。
思考 产生随机误差项e的原因是什么?
随机误差e的来源(可以推广到一般): 1、其它因素的影响:影响体重y 的因素不只 是身高 x,可能还包括遗传基因、饮食习惯、 生长环境等因素; 2、用线性回归模型近似真实模型所引起的误 差; 3、身高 x 的观测误差。
函数模型与回归模型之间的差别
中国GDP散点图 120000
100000
80000
GDP
60000
40000
20000
0 1992
1993
1994
1995
1996
1997 年
1998
1999
2000
2001
2002
2003
函数模型: y ? bx ? a 回归模型: y ? bx ? a ? e
可以提供 选择模型的准则
例1 从某大学中随机选取8名女大学生,其身高和体重数据如表1-1所示。
1 2 3 4 5 6 7 8 编号 身高/cm 165 165 157 170 175 165 155 170 体重/kg 48 57 50 54 64 61 43 59
求根据一名女大学生的身高预报她的体重的回归方程,并预报一名身高为 172cm的女大学生的体重。
? ? 根据最小二乘法估计a 和b 就是未知参数a和b的最好估计,
b?
?
? (x
i ?1 n
n
i
? x )( yi ? y )
( xi ? x) 2 ?
i ?1 i i
a ? y ?b x
?
?
?
?x y
i ?1 n
n
? nx ? y ? nx
2
?x
i ?1
2
i
制表
i
1
2
3
4
5
6
7
8
合计
xi ? x
yi ? y
( xi ? x)( yi ? y)
( xi ? x)2
x?
,? y
,
其中 1 1 x ? ? xi, ? ? yi y n i ?1 n i ?1
n n
例1 从某大学中随机选取8名女大学生,其身高和体重数据如表1-1所示。
1 2 3 4 5 6 7 8 编号 身高/cm 165 165 157 170 175 165 155 170 体重/kg 48 57 50 54 64 61 43 59
求根据一名女大学生的身高预报她的体重的回归方程,并预报一名身高为 172cm的女大学生的体重。
于是得到 b ? 0.849 a ? ?85.712 ,
^ ^
( x, y)称为 样本点的中心
探究P4: 身高为172cm的女大学生的体重一定是60.316kg吗? 所以回归方程是 ? ? 0.849x ? 85.712 y 如果不是,你能解析一下原因吗? 所以,对于身高为172cm的女大学生,由回归方程可以预报 其体重为
? ? 0.849 ? 72 ? 85.712 ? 60.316( kg) y
探究P4: 身高为172cm的女大学生的体重一定是60.316kg 吗?如果不是,你能解析一下原因吗?
答:身高为172cm的女大学生的体重不一定是 60.316kg,但一般可以认为她的体重在60.316kg左右。
60.136kg不是每个身高为172cm的女大学生的体重 的预测值,而是所有身高为172cm的女大学生平均 体重的预测值。
函数模型与回归模型之间的差别
函数模型: y ? bx ? a 回归模型: y ? bx ? a ? e
线性回归模型y=bx+a+e增加了随机误差项e,因变量y的值 由自变量x和随机误差项e共同确定,即自变量x只能解析部分y 的变化。 在统计中,我们也把自变量x称为解析变量,因变量y称为预 报变量。
求出线性相关方程后, ? 0.849 说明身高x每 b 增加一个单位,体重y就增加0.849个单位,这表 明体重与身高具有正的线性相关关系.如何描 述它们之间线性相关关系的强弱呢?
1.用相关系数 r 来衡量
?
2.公式:
r?
? ? x ? x ?? y ? y ?
n i ?1 i i
?? x ? x? ?? y ? y?
n 2 n i ?1 i i ?1 i
2
3.性质: ①、当 r ? 1 时,x与y为完全线性相关,它们之 间存在确定的函数关系。 ②、当 0 ? r ? 1 时,表示x与y存在着一定的线 性相关,r的绝对值越大,越接近于1,表示x 与y直线相关程度越高,反之越低。
当r ? 0时,表示x与y为正相关;当r ? 0时,表示x与y为负相关
当r ? [0.75, 表明两个变量正相关很强; 1], 当r ? [?1, ?0.75], 表明两个变量负相关很强;
当r ? [?0. 0.25], 表明两个变量相关性较弱。 25,
相关关系的测度
(相关系数取值及其意义)
完全负相关 无线性相关 完全正相关
-1.0
-0.5
0
+0.5
正相关程度增加
+1.0
r
负相关程度增加
对回归模型进行统计检验
假设身高和随机误差的不同不会对体重产生任何影响,那么所 有人的体重将相同。在体重不受任何变量影响的假设下,设8名女 大学生的体重都是她们的平均值, 即8个人的体重都为54.5kg。
编号 身高/cm 体重/kg 1 165 54.5 2 165 54.5 3 157 54.5 4 170 54.5 5 175 54.5 6 165 54.5 7 155 54.5 8 170 54.5
54.5kg
在散点图中,所有的点应该落 在同一条水平直线上,但是观 测到的数据并非如此。这就意 味着预报变量(体重)的值 受解析变量(身高)和随机误 差的影响。
思考P6:
如何刻画预报变量(体重)的变化?这个变化在多大程度上 与解析变量(身高)有关?在多大程度上与随机误差有关?
编号
1
2
3
4
5
6
7
8
身高/cm
体重/kg
165
48
165
57
157
50
170
54
175
64
165
61
155
43
170
59
54.5kg
例如,编号为6的 女大学生的体重并没有 落在水平直线上,她的 体重为61kg。解析变量 (身高)和随机误差共 同把这名学生的体重从 54.5kg“推”到了61kg, 相差6.5kg,所以6.5kg
是解析变量和随机误差 的组合效应。
编号为3的女大学生的体重并也没有落在水平直线上,她的 体重为50kg。解析变量(身高)和随机误差共同把这名学生的 体重从50kg“推”到了54.5kg,相差-4.5kg,这时解析变量和随 机误差的组合效应为-4.5kg。
用这种方法可以对所有预报变量计算组合效应。
数学上,把每个效应(观测值减去总的平均
值)的平方加起来,即用
? ( y ? y)
i ?1 i
n
2
表示总的效应,称为总偏差平方和。
在例1中,总偏差平方和为354。
编号 身高/cm 体重/kg
1
165 48
2
165 57
3
157 50
4
170 54
5
175 64
6
165 61
7
155 43
8
170 59
那么,在这个总的效应(总偏差平方和)中,有 多少来自于解析变量(身高)?有多少来自于随机 误差?
假设随机误差对体重没有影响,也就是说,体重仅受身高 的影响,那么散点图中所有的点将完全落在回归直线上。但 是,在图中,数据点并没有完全落在回归直线上。这些点散 布在回归直线附近,所以一定是随机误差把这些点从回归直 线上“推”开了。
因此,数据点和它在回归直线上相应位置的差异
? (yi ? ? i ) 是随机误差的效应,称 ei =yi ? ? i 为残差。 y y
例如,编号为6的女大学生,计算随机误差的效应(残差)为:
61 ? (0.849 ?165 ? 85.712) ? 6.627
对每名女大学生计算这个差异,然后分别将所得的值平方后
? )2 加起来,用数学符号表示为:? ( yi ? y i
i ?1
n
称为残差平方和,它代表了随机误差的效应。
在例1中,残差平方和约为128.361。
由于解析变量和随机误差的总效应(总偏差平方和)为354, 而随机误差的效应为128.361,所以解析变量的效应为 354-128.361=225.639,这个值称为回归平方和。
解析变量和随机误差的总效应(总偏差平方和) =解析变量的效应(回归平方和)+随机误差的效应(残差平方和)
我们可以用相关指数R2来刻画回归的效果,其计算公式是
R ? 1?
2
( yi ? ? i ) 2 y ? ( yi ? y ) 2 ?
i ?1 i ?1 n
n
残差平方和 ? 1? 。 总偏差平方和
显然,R2的值越大,说明残差平方和越小,也就是 说模型拟合效果越好。
在线性回归模型中,R2表示解析变量对预报变量变 化的贡献率。
R2越接近1,表示回归的效果越好(因为R2越接近1, 表示解析变量和预报变量的线性相关性越强)。
如果某组数据可能采取几种不同回归方程进行回归分 析,则可以通过比较R2的值来做出选择,即选取R2较大 的模型作为这组数据的模型。
总的来说: 相关指数R2是度量模型拟合效果的一种指标。 在线性模型中,它代表自变量刻画预报变量的 能力。
我们可以用相关指数R2来刻画回归的效果,其计算公式是
R ? 1?
2
( yi ? ? i ) 2 y ? ( yi ? y ) 2 ?
i ?1 i ?1 n
n
残差平方和 ? 1? 。 总偏差平方和
表1-3
来源 解释变量(身高) 随机误差(e) 平方和 225.639 128.361 比例 0.64 0.36
总计
354
1
从表3-1中可以看出,解析变量对总效应约贡献了64%,即 R2≈0.64,可以叙述为“身高解析了64%的体重变化”,而随 机误差贡献了剩余的36%。所以,身高对体重的效应比随机误 差的效应大得多。
r与R 的区别:
相关系数r:衡量两个变量之间线性相关的强弱
R 表示解释变量(x)对预报变量(y)的贡献率。
2
2
在数值上:R ? r
2
2
1、先算相关系数r ; 2、再算相关指数R 2 ? r 2 ; 3、算总偏差平方和; 4、残差平方和=总偏差平方和-总偏差平方和 ? R 2
残差分析与残差图的定义:
在研究两个变量间的关系时,首先要根据散 点图来粗略判断它们是否线性相关,是否可以用 回归模型来拟合数据。
? ? ? 然后,我们可以通过残差 e1 , e2 ,?, en 来 判断模型拟合的效果,判断原始数据中是否存在 可疑数据,这方面的分析工作称为残差分析。
表1-4列出了女大学生身高和体重的原始数据以及 相应的残差数据。
编号
身高/cm 体重/kg 残差
1
165 48
-6.373
2
165 57
2.627
3
157 50
2.419
4
170 54
-4.618
5
175 64
1.137
6
165 61
6.627
7
155 43
-2.883
8
170 59
0.382
使用公式
? ei =yi ? ? i 计算残差 y
我们可以利用图形来分析残差特性,作图时纵 坐标为残差,横坐标可以选为样本编号,或身高数 据,或体重估计值等,这样作出的图形称为残差图。
残差图的制作及作用。 ? 坐标纵轴为残差变量,横轴可以有不同的选择; 几点说明: 第一个样本点和第6个样本点的残差比较大,需要确认在采集过程中是否有人为 ? 若模型选择的正确,残差图中的点应该分布在以 的错误。如果数据采集有错误,就予以纠正,然后再重新利用线性回归模型拟合数 据;如果数据采集没有错误,则需要寻找其他的原因。 横轴为心的带形区域; 另外,残差点比较均匀地落在水平的带状区域中,说明选用的模型比较合适,这 ? 对于远离横轴的点,要特别注意。 样的带状区域的宽度越窄,说明模型拟合精度越高,回归方程的预报精度越高。
身 高 与 体 重 残 差 图
异 常 点
? 错误数据 ? 模型问题
用身高预报体重时,需要注意下列问题:
——这些问题也使用于其他问题。
1、回归方程只适用于我们所研究的样本的总体; 2、我们所建立的回归方程一般都有时间性; 3、样本采集的范围会影响回归方程的适用范围; 4、不能期望回归方程得到的预报值就是预报变量的精确值。 事实上,它是预报变量的可能取值的平均值。
一般地,建立回归模型的基本步骤为:
(1)确定研究对象,明确哪个变量是解析变量,哪个变量 是预报变量。 (2)画出确定好的解析变量和预报变量的散点图,观察它 们之间的关系(如是否存在线性关系等)。 (3)由经验确定回归方程的类型(如我们观察到数据呈线 性关系,则选用线性回归方程y=bx+a). (4)按一定规则估计回归方程中的参数(如最小二乘法)。 (5)得出结果后分析残差图是否有异常(个别数据对应 残差过大,或残差呈现不随机的规律性,等等),过存在 异常,则检查数据是否有误,或模型是否合适等。
什么是回归分析?
(内容)
1.
2.
3.
从一组样本数据出发,确定变量之间的数学关 系式 对这些关系式的可信程度进行各种统计检验, 并从影响某一特定变量的诸多变量中找出哪些 变量的影响显著,哪些不显著 利用所求的关系式,根据一个或几个变量的取 值来预测或控制另一个特定变量的取值,并给 出这种预测或控制的精确程度
回归分析与相关分析的区别
1.
2.
3.
相关分析中,变量 x 变量 y 处于平等的地位;回归 分析中,变量 y 称为因变量,处在被解释的地位,x 称为自变量,用于预测因变量的变化 相关分析中所涉及的变量 x 和 y 都是随机变量;回 归分析中,因变量 y 是随机变量,自变量 x 可以是 随机变量,也可以是非随机的确定变量 相关分析主要是描述两个变量之间线性关系的密切 程度;回归分析不仅可以揭示变量 x 对变量 y 的影 响大小,还可以由回归方程进行预测和控制
练:某种产品的广告费支出x与销售额y之间有如表 所示数据:
零件数X 加工时间y(分 钟)
2 30
4 40
5 60
6 50
8 70
(1)求x,y之间的相关系数; (1)r ? 0.9192
? (2)求线性回归方程; (2) y ? 6.5x ? 17.5
离差平方和的分解
(三个平方和的意义)
1.
总偏差平方和(SST)
?
反映因变量的 n 个观察值与其均值的总离差 反映自变量 x 的变化对因变量 y 取值变化的影响, 或者说,是由于 x 与 y 之间的线性关系引起的 y 的 取值变化,也称为可解释的平方和
2.
回归平方和(SSR)
?
3.
残差平方和(SSE)
?
反映除 x 以外的其他因素对 y 取值的影响,也称为 不可解释的平方和或剩余平方和
样本决定系数 (判定系数 r2 )
1.
回归平方和占总离差平方和的比例
2. 反映回归直线的拟合程度 3. 取值范围在 [ 0 , 1 ] 之间 4. r2 ?1,说明回归方程拟合的越好;r2?0, 说明回归方程拟合的越差 5. 判定系数等于相关系数的平方,即r2=(r)2
2、现实生活中存在着大量的相关关系。
如:人的身高与年龄; 产品的成本与生产数量;
商品的销售额与广告费;
家庭的支出与收入。等等 探索:水稻产量y与施肥量x之间大致有何 规律?
施化肥量x 15
20
25
30
35
40
45
水稻产量y 330 345 365 y
500 450 400 350 300 10
405 445
450 455
散点图
水稻产量
··
20
·
·
·· ·
施化肥量
30
40
50
x
发现:图中各点,大致分布在某条直线附近。
探索2:在这些点附近可画直线不止一条, 哪条直线最能代表x与y之间的关系呢?
什么是回归分析:
“回归”一词是由英国生物学家F.Galton在研究人体身高的遗传问题时首先提出的。 根据遗传学的观点,子辈的身高受父辈影响,以X记父辈身高,Y记子辈身高。 虽然子辈身高一般受父辈影响,但同样身高的父亲,其子身高并不一致,因此, X和Y之间存在一种相关关系。 一般而言,父辈身高者,其子辈身高也高,依此推论,祖祖辈辈遗传下来,身 高必然向两极分化,而事实上并非如此,显然有一种力量将身高拉向中心,即子辈 的身高有向中心回归的特点。“回归”一词即源于此。
虽然这种向中心回归的现象只是特定领域里的结论,并不具有普遍性,但从它 所描述的关于X为自变量,Y为不确定的因变量这种变量间的关系看,和我们现在的 回归含义是相同的。
不过,现代回归分析虽然沿用了“回归”一词,但内容已有很大变化,它是一种应用 于许多领域的广泛的分析研究方法,在经济理论研究和实证研究中也发挥着重要作用。
作业:某种产品的广告费支出x与销售额y之间有如 表所示数据:
广告费用X(万元) 销售额y (万元)
2 30
4 40
5 60
6 50
8 70
(1)求x,y之间的相关系数;
(2)求线性回归方程;
(3)求总偏差平方和及残差平方和;
(4)求R2,说明模型的拟合效果,残差变量对销售额的 影响百分比.(看看课本第6页表1-3)