梯度下降解决回归问题 Salary_Data

梯度下降解决回归问题 ： 梯度下降算法的出现与数学中的导数有关。梯度下降算法的目的是用来求解最小值对应的x。导数表示函数上升的速率。在求解最小的x时，首先我们会随机初始化一个θ，然后希望这个θ可以不断减小直到在原函数中找到最小值对应的x，那么，让θ减小的方法就是让θ减去原函数在θ这一点对应的导数，因为导数的意义是表示函数变化的快慢，能表示函数变化的方向，随着x的变化，函数变化趋势也在不停的变化。但是，x对应的导数值可能过大，所以我们会在导数前面乘一个alpha，alpha表示步长（在开始时初始化），让x可以一点一点的下降，从而找到最小的x。这里的梯度指的就是导数。 使用梯度下降算法来解决线性回归问题的原因就是，使用梯度下降算法之后，可以使代价函数的损失值最小。所以使用梯度下降算法求解线性回归问题就是对代价函数进行梯度下降。 对于代价函数，代价函数中的θ可能有很多个，所以我们在对代价函数公式梯度下降时要对多个θ进行。 每次取一个θ时，在去导数时含有其他θ值的项 和常数项都会为零。