01
02
03
04
逐渐回归
它经常用于生物统计学和流行病学。
回归样条
回归样条是扩展多项式和逐步回归技术的众多_基本_函数之一。 实际上。 多项式和逐步回归函数只是函数的特例。
这是分段三次拟合的示例（左上）。
为了解决这个问题，更好的解决方案是施加约束，使得拟合曲线必须是连续的。
选择结的位置和数量
一种选择是在我们认为变化最大的地方放置更多的结，在我们认为情况更稳定的地方放置更少的结。 但在实践中，结通常以统一的方式放置。
需要明确的是，在这种情况下，实际上有 5 个结，包括边界结。
那么我们应该使用多少个结呢？ 一个简单的选择是尝试多个结，看看哪一个能创造出最佳的曲线。 然而，更客观的方法是使用交叉验证。
与多项式回归相比，样条可以表现出更稳定的效果。
光滑样条
我们讨论了回归样条线，它是通过指定一组结、生成一系列基函数，然后使用最小二乘法来估计样条线系数来创建的。 平滑样条线是创建样条线的另一种方法。 让我们回想一下，我们的目标是找到一些能够很好地拟合观测数据的函数，即最小化 RSS。 然而，在对我们的函数没有任何限制的情况下，我们可以通过选择一个精确插值所有数据的函数将 RSS 设置为零。
选择平滑参数
我们再次诉诸交叉验证。 事实证明，我们实际上可以非常有效地计算 LOOCV 来平滑样条曲线、回归样条曲线和其他任意基函数。
平滑样条通常优于回归样条，因为它们通常创建具有可比拟合的更简单模型。
局部回归
局部回归涉及仅使用附近的训练观测值来计算目标点 _x_ 0 处的拟合。
局部回归可以通过多种方式执行，特别是在涉及拟合线性回归模型的多变量方案中尤其明显，因此一些变量可以全局拟合，一些变量可以局部拟合。
广义加性模型
GAM 模型通过允许每个变量的非线性函数同时保持可加性，提供了扩展线性模型的通用框架。
具有平滑样条的 GAM 并不那么简单，因为无法使用最小二乘法。 相反，使用一种称为向后拟合的方法。
GAM的优点和缺点
优势
缺点
例子
多项式回归和分段函数
1.（ISLR）
2.（工资）
我们可以使用 轻松拟合多项式函数，然后指定多项式的变量和次数。 此函数返回一个正交多项式矩阵，这意味着每一列都是变量age、age^2、age^3 和age^4 的线性组合。 如果想直接获取变量，可以指定raw=TRUE，但这不会影响预测结果。 它可用于检查所需的系数估计。
1. fit = lm(工资~poly(年龄, 4), 数据=工资)
2.kable(coef((fit)))
现在让我们创建一个我们想要预测的年龄向量。 最后，我们将绘制数据和拟合的四次多项式。
1.
2.年龄网格
4.预测
5.se=真）
1. 绘图(年龄,工资,xlim= ,cex=.5,col="")
2. 行(age.grid,pred$fit,lwd=2,col="blue")
3.（年龄.网格，se.bands，lwd = 2，col =“蓝色”，lty = 3）
在这个简单的例子中，我们可以使用方差分析检验。
2. 表的##
3.##
4.##模型1：工资~年龄
5.##模型2：工资~poly(age,2)
6.##模型3：工资~poly(age,3)
7.##模型4：工资~poly(age,4)
8.##模型5：工资~poly(age, 5)
9. ## Res.Df RSS Df Sq F 之和 Pr(>F)
10.##1 2998
11.##2 2997 1 143.59
12.## 3 2996 1 15756 9.89 0.0017 **
13.## 4 2995 1 6070 3.81 0.0510 。
14.## 5 2994 1 1283 0.80 0.3697
15.## ---
16. ## . 代码：0'***'0.001'**'0.01'*'0.05'.' 0.1''1
我们看到，与二次模型相比，_M_1 的 p 值 _M_2 基本上为零，表明线性拟合不足。 因此，我们可以得出结论，二次或三次模型可能更适合此数据，并且优先考虑简单模型。
我们还可以使用交叉验证来选择多项式次数。
在这里，我们实际看到的最小交叉验证误差是四次多项式，但选择三次或二次模型不会损失太多。 接下来，我们考虑预测个人年收入是否超过 250,000 美元。
然而，概率的置信区间是不合理的，因为我们最终得到了一些负概率。 为了生成置信区间，转换对数预测更有意义。
画：
1. 绘图(年龄,I(工资>250),xlim= ,type="n",ylim=c(0,.2))
2.线条(age.grid,pfit,lwd=2,col=“blue”)
3.（年龄.网格，se.bands，lwd = 1，col =“蓝色”，lty = 3）
逐步回归函数
这里我们需要对数据进行拆分。
表（切（年龄，4））
1.##
2.## (17.9,33.5] (33.5,49] (49,64.5] (64.5,80.1]
3.## 750 1399 779 72
1. 适合
2.coef((拟合))
1.## 标准。 误差t值Pr(>|t|)
2.##()94.158 1.476 63.790 0.000e+00
3. ## 切(年龄, 4)(33.5,49] 24.053 1.829 13.148 1.982e-38
4.## 切(年龄, 4)(49,64.5] 23.665 2.068 11.443 1.041e-29
5.##切(年龄,4)(64.5,80.1]7.641 4.987 1.532 1.256e-01
样条函数
这里我们将使用三次样条。
由于我们使用具有三个节点的三次样条线，因此生成的样条线具有六个基函数。
2.## [1] 3000 6
3. 昏暗(bs(年龄, df=6))
5.## [1] 3000 6
6.## 25% 50% 75%
7.## 33.75 42.00 51.00
拟合样条线。
我们还可以拟合平滑样条线。 这里我们拟合一个具有 16 个自由度的样条线，然后通过交叉验证选择该样条线，得到 6.8 个自由度。
2.fit2$df
4.##[1]6.795
5. 线条(fit, col='red', lwd=2)
6. 线条(fit2, col='blue', lwd=1)
7. ('', =c('16 DF', '6.8 DF'),
8. col=c('红','蓝'),lty=1,lwd=2,cex=0.8)
局部回归
执行局部回归。
GAM
现在，我们使用 GAM 通过年份、年龄和教育水平的样条来预测薪资。 由于这只是一个具有多个基函数的线性回归模型，因此我们仅使用 lm() 函数。
为了拟合更复杂的样条线，我们需要使用平滑样条线。
画出这两个模型
年是线性的。 我们可以创建一个新模型，然后使用方差分析检验。
2. 表的##
3.##
4.##模型1：工资~ns(age,5)+
5.##模型2：工资~年份+s(年龄,5)+
6. ## 模型3：工资 ~ s(year, 4) + s(age, 5) +
7. ## Res.Df RSS Df Sq F 之和 Pr(>F)
8.##1 2990
9.## 2 2989 1 19040 15.4 8.9e-05 ***
10.## 3 2986 3 4071 1.1 0.35
11.## ---
12.##. 代码：0'***'0.001'**'0.01'*'0.05'.' 0.1''1
看起来添加线性年份组件比不添加线性组件的GAM要好得多。
2.##
3.##：
4.## 最小 1 季度 3 季度 最大
5.## -119.43 -19.70 -3.33 14.17 213.48
6.##
7.##（取1236）
8.##
9. ## Null : 2999 年
10.##：2986年
11.##工商局：29888
12.##
13. ## 本地：2
14.##
15.##方差分析
16. ## Df Sum Sq Mean Sq F 值 Pr(>F)
17. ## s(年, 4) 1 27162 27162 22 2.9e-06 ***
18. ## s(年龄, 5) 1 158 < 2e-16 ***
19.## 4 32 216 < 2e-16 ***
20.##2986 1236
21。 ## ---
22. ## . 代码：0'***'0.001'**'0.01'*'0.05'.' 0.1''1
23。 ##
24.##方差分析
25.## Npar Df Npar F Pr(F)
26. ## ()
27. ## s(年, 4) 3 1.1 0.35
28.## s(年龄, 5) 4 32.4
29.##
30.## ---
31. ## . 代码：0'***'0.001'**'0.01'*'0.05'.' 0.1''1
在具有非线性关系的模型中，我们可以再次确认年份对模型没有贡献。
接下来，我们用局部回归来拟合 GAM。
我们还可以在调用 GAM 之前使用局部回归来创建交互项。
我们可以绘制所得的曲面。
