回归和梯度下降1、基本概念在回归中，具有代表性的是线性回归和逻辑回归?逻辑回归：y=sigmoid(wTx+b)?线性回归：y=wTx+b
也就是逻辑回归比线性回归多了一个sigmoid函数，sigmoid(x)=1/(1+exp(-x))，其实就是对x进行归一化操作，使得sigmoid(x)位于0~1,逻辑回归通常用于二分类模型，目标函数是二类交叉熵，y的值表示属于第1类的概率，用户可以自己设置一个分类阈值。线性回归用来拟合数据，目标函数是平法和误差。
2、线性回归2、1单变量线性回归
方法：线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（costfunction最小）即可；注意：
(1)因为是线性回归，所以学习到的函数为线性函数，即直线函数；(2)因为是单变量，因此只有一个x；我们能够给出单变量线性回归的模型：
我们常称x为feature，h(x)为hypothesis；
从上面“方法”中，我们肯定有一个疑问，怎么样能够看出线性函数拟合的好不好呢？
我们需要使用到CostFunction（代价函数），代价函数越小，说明线性回归地越好（和训练集拟合地越好），当然最小就是0，即完全拟合；
举个实际的例子：
我们想要根据房子的大小，预测房子的价格，给定如下数据集：
根据以上的数据集画在图上，如下图所示：
我们需要根据这些点拟合出一条直线，使得costFunction最小；虽然我们现在还不知道CostFunction内部到底是什么样的，但是我们的目标
是：给定输入向量x，输出向量y，theta向量，输出Cost值；2、2损失函数（代价函数）
CostFunction的用途：对假设的函数进行评价，costfunction越小的函数，说明拟合训练数据拟合的越好；
下图详细说明了当costfunction为黑盒的时候，costfunction的作用；
但是我们肯定想知道costFunction的内部构造是什么？因此我们下面给出公式：
其中：
表示向量x中的第i个元素；表示向量y中的第i个元素；表示已知的假设函数；
m为训练集的数量；
回归和梯度下降
