技术附录
A.真实误差分解
回顾3.2.2节中的例子,对于所有房子面积x和真实房价y,真实误差的表达式为
真实误差=Ex,y[(y-hw(x))2]
需要注意的是,每次的训练集也都是随机选择的。假设有1000个数据,今天选择前100个数据,明天选择后100个数据,后天选择中间的100个数据,每次拟合得出的模型都不同。因此,我们要用不同的训练集来计算真实误差(拟合得出不同的房价h和真实房价y),然后求平均值,这被称为预期误差,其严谨的数学公式为:
接下来,我们从数学上来推出真实误差是偏差、方差和噪声的总和。
假设数据没有噪声,真实误差只被分解成偏差和方差,那么证明更加简单。