深度学习
- Step1：神经网络（Neural network）
- Step2：模型评估（Goodness of function）
- Step3：选择最优函数（Pick best function）
完全连接前馈神经网络：任意两层之间的连接没有反馈。
全链接：每两层之间都有连接。
随着层数变多，错误率变低，随之运算量增大，这里我们引入矩阵计算。
例：
本质：通过隐藏层进行特征转换
把隐藏层通过特征提取来替代原来的特征工程，这样在最后一个隐藏层输出的就是一组新的特征（相当于黑箱操作）而对于输出层，其实是把前面的隐藏层的输出当做输入（经过特征提取得到的一组最好的特征）然后通过一个多分类器（可以是softmax函数）得到最后的输出y。
step2:模型评估
对于神经网络来说，我们采用交叉熵函数进行计算，接下来我们就是调整参数，让交叉熵越小越好。
对于损失，一般来说就是在function set里面找到一组函数能最小化这个总体损失L，或者是找一组神经网络的参数θ，来最小化总体损失L。
step3:选择最优函数
–梯度下降–
反向传播这块
我理解的是反向计算，从尾端往前推导，通过梯度下降不断更新，求得损失最小的函数。
