激活函数
作用：主要引入了非线性。从而能解决很复杂的非线性关系。能更好地处理现实世界的数据和任务。
向前传播
向前传播描述了，神经网络中，输入层到输出层的信号传播和处理过程。输入层将特征数据输入，加权求和，然后通过激活函数引入非线性，然后得到输出。输出到隐藏层。
隐藏层的输入就是输入层的输入。隐藏层经过多层传递，最后到输出层。
输出层将隐藏层的输出作为输入。经过加权和偏置，然后求和。然后传递给激活函数，激活函数将数据映射成非线性的。最后输出。输出结果得到的就是预测结果。将预测结果放入损失函数，计算损失值。
损失函数
损失函数就是计算预测值与实际值之间的差距。不同的任务需要使用不同类型的损失函数：
均方误差：回归任务
交叉熵损失：分类任务
对数损失：二分类问题
Hinge loss：衡量分类边界与正确分类间隔的差异。
梯度下降
梯度下降是我们深度学习最常用的优化手段。用于调整模型参数到损失函数值到 最小。主要步骤如下：
1、初始化参数
2、计算损失函数
3、计算梯度
4、调整参数
5、重复迭代，直至损失函数收敛
梯度下降的类型:
1、批量梯度下降：准确，效率低
2、随机梯度下降：不准确，效率高
3、小批量梯度下降：较准确，效率高