出处： ICLR workshop 2023
代码：Jhryu30/AnomalyBERT
可视化效果：
一 提出动机
动机：无监督 TSAD 领域内，“训练集” 也缺失：真值标签（GT）；换句话说，一个点在训练集内是否异常是未知的 → data degradation scheme
受 NLP 领域 BERT 的启发，通过替换输入数据的随机部分，训练模型以找到退化部分来修改掩模语言建模（MLM）；此方法有助于检测：真实的时序内的各类非自然序列。
二 Methodology
1. 模型架构：（基于 “预测” 的时序异常检测方法）
2. 详细讲解：
2.2 合成异常及数据增强
随机选择每个时序窗口内的时序片段，通过下列四种 “合成异常” 方式，进行相应数据增强：
1. 带有窗口外部的加权序列（软替换），替换为：原始区间和外部区间的加权和；
2. 恒定序列（统一替换）；
3. 加长或缩短的序列（长度调整）；
4. 单个峰值（峰值噪声）。
2.3 训练损失函数：(交叉熵损失)
三. 实验结果
