LS、WLS、LASSO、LOESS 的异同点总结
相同点:
回归方法:均用于建立自变量与因变量之间的关系模型。
最小二乘基础:LS、WLS 和 LASSO 均基于最小化残差平方和的框架(WLS 加权,LASSO 加入正则项);LOESS 在局部使用加权最小二乘进行拟合。
线性模型关联:LS、WLS 和 LASSO 均适用于线性模型(全局或局部线性假设),而 LOESS 是局部非参数方法。
不同点:
维度 | LS | WLS | LASSO | LOESS |
---|---|---|---|---|
核心思想 | 最小化残差平方和 | 加权最小化残差平方和(处理异方差) | LS + L1 正则化(变量选择) | 局部加权多项式拟合(非参数) |
模型假设 | 线性、同方差、独立误差 | 线性、异方差、独立误差 | 线性、稀疏性假设 | 无全局模型假设,局部线性/多项式 |
正则化 | 无 | 无 | L1 正则化(压缩系数) | 无 |
变量选择 | 无 | 无 | 有(稀疏解) | 无 |
异方差处理 | 不处理 | 显式处理(通过权重调整) | 不直接处理 | 局部权重间接调整 |
计算复杂度 | 低(解析解) | 中等(需估计权重) | 中高(凸优化问题) | 高(逐点局部拟合) |
适用场景 | 低维、线性、同方差数据 | 线性、异方差数据 | 高维数据、变量选择 | 非线性、探索性数据分析 |
结果解释性 | 全局参数,解释性强 | 全局参数,解释性强 | 稀疏参数,解释性中等 | 无全局参数,解释性弱 |
对异常值敏感性 | 敏感 | 依赖权重设置 | 敏感 | 局部拟合,相对稳健 |
关键总结:
LS 是基础方法,简单高效但假设严格;
WLS 扩展了 LS,专门解决异方差问题;
LASSO 通过 L1 正则化实现变量选择,适用于高维数据;
LOESS 是灵活的非参数方法,适合探索复杂非线性关系,但计算成本高。
根据数据特性(线性/非线性、维度、异方差性)和分析目标(解释性、预测、变量选择),选择合适的方法。
系统当前共有 468 篇文章