目录
Normalization（归一化）
1.特点
目的
应用场景
输出范围
2. Sigmoid 函数
目的
应用场景
输出范围
3. Softmax 函数
目的
应用场景
输出范围
"燃尽最后的本能，意志力会带你杀出重围"
—— 24.12.2
Normalization（归一化）
归一化是将数据转换为具有统一尺度的形式，通常用于数据预处理阶段。常见的归一化方法包括 Min-Max归一化、Z-Score 归一化和 L2 归一化。
1.特点
目的
消除数据特征之间的量纲差异，使得不同特征对模型的影响更加均衡。
应用场景
数据预处理阶段，用于提高模型的训练效果和泛化能力。
输出范围
取决于具体的归一化方法
Min-Max 归一化：[0,1] 或 [-1,1]
Z-Score 归一化：均值为0，标准差为1
L2 归一化：向量的 L2 范数为 1
2. Sigmoid 函数
Sigmoid 函数是一种非线性激活函数，将输入值压缩到 (0, 1) 之间。其数学表达式为：
目的
将输入值压缩到(0，1)之间，适合用于二分类问题。
应用场景
二分类问题中的输出层，需要将输出值解释为概率
输出范围
(0，1)
3. Softmax 函数
Softmax 函数也是一种非线性激活函数，将输入值转换为概率分布。其数学表达式为：
其中，Xi 是输入向量的第 i 个元素，n 是输入向量的维度
目的
将输入值转换为概率分布，使得所有输出值的和为1。
应用场景
多分类问题中的输出层，需要将输出值解释为概率分布
输出范围
(0,1)，且所有输出值的和为 1