机器学习第三章

第三章 线性模型

线性模型的基本形式: \[ f(x)=w_1x_1+w_2x_2+\ldots+w_dx_d+b \] 一般向量形式写成: \[ f(x)=w^Tx+b \] 单一属性的线性回归目标: \[ f(x)=wx_i+b\\st.\rightarrow(x)\simeq y \] 局部加权线性回归:降低某一个特征的影响

对于某一个周期性波动性的数据,使用线性模型明显和原模型的差别较大

平滑问题:有趋势的或是季节性数据

对于存在于该数据周围的所有数据按照距离赋予权值,这里我们使用高斯函数进行权值计算。高斯函数定义为空间中任意一点xi到x之间欧氏距离的单调函数。 \[ k(x,x')=e^{-\frac{|x-x'|^2}{2\sigma^2}} \] 对数线性回归:输出标记的对数为线性模型逼近的目标。 \[ lny=w^Tx+b \Leftrightarrow y=w^Tx+b \] 对数几率回归:

将y视为样本x作为正例的可能性,则1-y是反例的可能性,y/1-y成为几率。反映了x作为正例的相对可能性,取其对数得到对数几率。

对数几率回归的优点:

无需事先假设数据分布,直接对分类可行性建模,避免假设分布不准确带来的问题

对率函数是任意阶可导的凸函数

极大似然估计: