对 ?Flux 指令的结果进行一个朴素的分类结果如下。
神经元种类
- LSTM: 长短期记忆网络单元，适用于处理和预测序列数据。
- GRU: 门控循环单元，是LSTM的变体，结构更简单。
- GRUv3: 第三版的门控循环单元，可能有一些特定的改进。
- Dense: 密集连接层，即全连接层，每个输入都与每个输出有连接。
优化器
- Descent: 梯度下降优化器。
- Momentum: 动量优化器，考虑历史梯度来加速训练。
- Nesterov: Nesterov动量，是对动量优化器的改进。
- AdaGrad: 自适应梯度算法，为每个参数调整学习率。
- AdaDelta: AdaGrad的改进版，限制累积梯度的大小。
- AdaMax: Adam的变体，使用无穷范数代替二阶矩估计。
- RMSProp: 自适应学习率方法，考虑梯度平方的移动平均。
- Adam: 结合了动量和RMSProp的优化器。
- AdamW: Adam的变体，对权重衰减进行了改进。
- AMSGrad: Adam的改进版，解决了某些情况下的收敛问题。
- AdaBelief: Adam的变体，使用.belief.估计来代替传统的momentum。
- NAdam: 结合了Nesterov动量和Adam的优化器。
- OAdam: Adam的变体，用于大规模优化。
- RAdam: 随机Adam，对Adam的学习率进行了改进。
损失函数
- binarycrossentropy: 二进制交叉熵损失，用于二分类问题。
- crossentropy: 交叉熵损失，用于多分类问题。
- ctc_loss: 连接时序分类损失，用于序列标注问题。
- dice_coeff_loss: Dice系数损失，用于图像分割。
- focal_loss: 焦点损失，用于解决类别不平衡问题。
- hinge_loss: 铰链损失，用于支持向量机。
- huber_loss: Huber损失，对异常值不敏感的损失函数。
- kldivergence: Kullback-Leibler散度，用于度量两个概率分布的差异。
- logitbinarycrossentropy: 对数几率二进制交叉熵损失。
- logitcrossentropy: 对数几率交叉熵损失。
- mae: 平均绝对误差，用于回归问题。
- mse: 均方误差，用于回归问题。
- msle: 对数均方误差，用于回归问题。
- poisson_loss: 泊松损失，用于计数数据。
- squared_hinge_loss: 平方铰链损失。
- tversky_loss: Tversky损失，用于图像分割。
- binary_focal_loss: 二进制焦点损失。
激活函数
- elu: 指数线性单元。
- gelu: 高斯误差线性单元。
- hardsigmoid: 硬Sigmoid函数。
- hardswish: 硬Swish函数。
- hardtanh: 硬Tanh函数。
- hardσ: 硬Sigmoid函数的另一种表示。
- leakyrelu: 泄露修正线性单元。
- lisht: 线性整流激活函数的变体。
- mish: Mish函数，光滑的非单调激活函数。
- relu: 修正线性单元。
- relu6: 限制在6以内的ReLU函数。
- rrelu: 随机泄露修正线性单元。
- selu: Scaled Exponential Linear Units。
- sigmoid: Sigmoid函数。
- sigmoid_fast: 快速Sigmoid函数。
- softmax: Softmax函数，用于多分类。
- softmax!: 强制in-place计算的Softmax函数。
- softplus: Softplus函数。
- softshrink: Softshrink函数。
- softsign: Softsign函数。
- swish: Swish函数。
- tanh_fast: 快速Tanh函数。
- tanhshrink: Tanhshrink函数。
- thresholdrelu: 阈值ReLU函数。
- trelu: 三角ReLU函数。
- σ: Sigmoid函数的另一种表示。
层
- BatchNorm: 批归一化层，用于加速训练。
- Conv: 卷积层，用于特征提取。
- ConvTranspose: 转置卷积层，用于上采样。
- Dense: 密集层，即全连接层。
- Dropout: Dropout层，用于防止过拟合。
- Embedding: 嵌入层，用于处理类别数据。
- EmbeddingBag: 嵌入袋层，是嵌入层的变种。
- GlobalMaxPool: 全局最大池化层。
- GlobalMeanPool: 全局平均池化层。
- GroupNorm: 组归一化层。
- InstanceNorm: 实例归一化层。
- LayerNorm: 层归一化层。
- MaxPool: 最大池化层，用于下采样。
- MeanPool: 平均池化层，用于下采样。
- MultiHeadAttention: 多头注意力层，用于Transformer模型。
- SkipConnection: 跳跃连接，常用于残差网络。
池化
- AdaptiveMaxPool: 自适应最大池化，根据输出尺寸调整池化窗口大小。
- AdaptiveMeanPool: 自适应平均池化，根据输出尺寸调整池化窗口大小。
- MaxPool: 最大池化，选择每个窗口内的最大值。
- MeanPool: 平均池化，计算每个窗口内的平均值。
- GlobalMaxPool: 全局最大池化，在整个特征图上取最大值。
- GlobalMeanPool: 全局平均池化，在整个特征图上取平均值。
- lpnormpool: Lp范数池化。
- lpnormpool!: 强制in-place计算的Lp范数池化。
卷积
- Conv: 卷积操作，用于特征提取。
- ConvTranspose: 转置卷积操作，用于上采样。
- DepthwiseConv: 深度可分卷积，每个输入通道单独卷积。
- DepthwiseConvDims: 深度可分卷积的维度。
- DenseConvDims: 密集卷积的维度。
- ConvDims: 卷积的维度。
设备
- CPUDevice: CPU设备，用于在CPU上执行计算。
- CUDADevice: CUDA设备，用于在NVIDIA GPU上执行计算。
- MetalDevice: Metal设备，用于在Apple GPU上执行计算。
- XLADevice: XLA设备，用于在TPU上执行计算。
- oneAPIDevice: oneAPI设备，用于在Intel GPU上执行计算。
初始化方法
- glorot_normal: Glorot正态分布初始化，也称为Xavier初始化。
- glorot_uniform: Glorot均匀分布初始化。
- kaiming_normal: Kaiming正态分布初始化，适用于ReLU激活函数。
- kaiming_uniform: Kaiming均匀分布初始化。
- orthogonal: 正交初始化，保持权重的正交性。
- sparse_init: 稀疏初始化，初始化为稀疏矩阵。
- truncated_normal: 截断正态分布初始化。
- identity_init: 单位矩阵初始化。
- default_rng_value: 默认随机数生成器的值。
梯度算子
- ∇conv_data: 计算卷积操作关于输入数据的梯度。
- ∇conv_data!: 同上，但可能会就地修改输入数据。
- ∇conv_filter: 计算卷积操作关于卷积核（过滤器）的梯度。
- ∇conv_filter!: 同上，但可能会就地修改卷积核。
- ∇depthwiseconv_data: 计算深度可分卷积操作关于输入数据的梯度。
- ∇depthwiseconv_data!: 同上，但可能会就地修改输入数据。
- ∇depthwiseconv_filter: 计算深度可分卷积操作关于卷积核的梯度。
- ∇depthwiseconv_filter!: 同上，但可能会就地修改卷积核。
- ∇grid_sample: 计算网格采样操作关于输入网格的梯度。
- ∇imrotate: 计算图像旋转操作关于输入图像的梯度。
- ∇logsoftmax: 计算LogSoftmax操作关于输入数据的梯度。
- ∇logsoftmax!: 同上，但可能会就地修改输入数据。
- ∇lpnormpool: 计算Lp范数池化操作关于输入数据的梯度。
- ∇lpnormpool!: 同上，但可能会就地修改输入数据。
- ∇maxpool: 计算最大池化操作关于输入数据的梯度。
- ∇maxpool!: 同上，但可能会就地修改输入数据。
- ∇meanpool: 计算平均池化操作关于输入数据的梯度。
- ∇meanpool!: 同上，但可能会就地修改输入数据。
- ∇softmax: 计算Softmax操作关于输入数据的梯度。
- ∇softmax!: 同上，但可能会就地修改输入数据。
- ∇upsample_bilinear: 计算双线性上采样操作关于输入数据的梯度。
- ∇upsample_linear: 计算线性上采样操作关于输入数据的梯度。
- ∇upsample_nearest: 计算最近邻上采样操作关于输入数据的梯度。
- ∇upsample_trilinear: 计算三线性上采样操作关于输入数据的梯度。
其他项目
adjust!: 调整参数。
batched_adjoint: 批量共轭转置。
batched_mul: 批量矩阵乘法。
batched_mul!: 强制in-place计算的批量矩阵乘法。
batched_transpose: 批量转置。
batched_vec: 批量向量操作。
bias_act!: 偏置和激活函数的复合操作。
binary_focal_loss: 二进制焦点损失函数。
cpu: CPU操作。
cpu_device: CPU设备。
create_bias: 创建偏置参数。
default_device_rng: 默认设备随机数生成器。
default_rng_value: 默认随机数生成器的值。
destructure: 解构对象。
dot_product_attention: 点积注意力机制。
dot_product_attention_scores: 点积注意力分数。
dropout: Dropout操作。
dropout!: 强制in-place计算的Dropout操作。
f16: 16位浮点数。
f32: 32位浮点数。
f64: 64位浮点数。
fmap: 特征图操作。
freeze!: 冻结参数。
functor: 函数对象。
get_device: 获取当前设备。
get_device_type: 获取设备类型。
getkeypath: 获取键路径。
gpu: GPU操作。
gpu_backend!: GPU后端操作。
gpu_device: GPU设备。
gradient: 计算梯度。
grid_sample: 网格采样操作。
hamming_window: 汉明窗函数。
hann_window: 汉宁窗函数。
imrotate: 图像旋转。
istft: 离散短时傅里叶逆变换。
label_smoothing: 标签平滑。
make_causal_mask: 创建因果掩码。
melscale_filterbanks: 梅尔尺度滤波器组。
outputsize: 输出尺寸。
pad_circular: 循环填充。
pad_constant: 常数填充。
pad_reflect: 反射填充。
pad_repeat: 重复填充。
pad_symmetric: 对称填充。
pad_zeros: 零填充。
params: 参数。
pixel_shuffle: 像素洗牌操作。
rand32: