什么是代价函数

假设有训练样本（x,y），模型为h，参数为θ。h(θ) = θTx（θT表示θ的转置）

(1) 概括来讲，任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ)，如果有多个样本，则可以将所有代价函数的取值求均值，记作J(θ)。因此很容易就可以得到以下关于代价函数的性质：

对于每种算法来说，代价函数不是唯一的；

代价函数是参数θ的用函数

总的代价函数J(θ)可以用来评价模型的好坏，代价函数越小说明模型和参数越符合训练样本(x,y)；

J(θ)是一个标量；

(2) 当我们确定了模型h，后面做的所有事情就是训练模型的参数θ。那么什么时候模型的训练才能结束呢？这时候也涉及到代价函数，由于代价函数是用来衡量模型的好坏的，我们的目标当然是得到最好的模型(也就是最符合训练样本(x,y)的模型)。因此训练参数的过程就是不断改变θ，从而得到更小的J(θ)的过程。理想情况下，当我们取到代价函数J的最小值时，就得到了最优的参数θ，记为：minθJ(θ)

例如 J(θ)=0，表示我们的模型完美的拟和了观察的数据，没有任何误差。

什么是初等函数

初等函数是由幂函数（power function）、指数函数（exponential function）、对数函数（logarithmic function）、三角函数（trigonometric function）、反三角函数（inverse trigonometric function）与常数经过有限次的有理运算（加、减、乘、除、有理数次乘方、有理数次开方）及有限次函数复合所产生，并且能用一个解析式表示的函数。