1. 什么是决策边界？
决策边界（Decision Boundary）是用于划分不同类别的边界线或超平面。在分类任务中，模型根据输入特征的值来决定样本的类别，决策边界正是模型将输入空间划分为不同类别区域的关键。
在上图中：
- 蓝色点表示一类数据
- 红色点表示另一类数据
- 虚线为决策边界，表示模型如何划分不同类别的区域
在这条边界的一侧，所有的样本都被分类为蓝色，另一侧的所有样本都被分类为红色。
2. 决策边界的类型
决策边界的形状取决于分类模型的性质，可以是线性或非线性的。
(1) 线性决策边界
如果分类模型是线性分类器（如 Logistic 回归、线性 SVM），那么决策边界是一个直线（2D）、平面（3D）或超平面（高维）。
-
数学表达（以 2D 二分类为例）：
其中：
是输入特征
是权重
- b 是偏置项
该方程表示一条直线（决策边界），将不同类别的样本划分开。
-
示例：
- 逻辑回归（Logistic Regression）
- 线性支持向量机（Linear SVM）
(2) 非线性决策边界
如果分类模型是非线性分类器（如决策树、KNN、核 SVM、神经网络），决策边界可能是曲线或复杂的形状。
- 示例：
- 支持向量机（SVM） + 核函数（如 RBF 核）可以创建非线性决策边界
- 神经网络可以学习复杂的非线性决策边界
- 决策树和随机森林创建阶梯状的决策边界
3. 决策边界的影响因素
(1) 数据分布
- 如果数据是线性可分的，如上图中的数据，则线性模型（如 Logistic 回归）就可以很好地划分数据。
- 如果数据是非线性可分的，则需要使用更复杂的模型（如神经网络、核方法）。
(2) 模型选择
不同的分类模型会导致不同的决策边界：
- Logistic 回归 → 线性边界
- SVM（核方法） → 非线性边界
- 神经网络 → 高度复杂的边界
(3) 超参数
例如：
- SVM 的 C 值（正则化系数）影响决策边界的复杂度
- k 近邻（KNN）的 k 值影响边界的平滑程度（k 小 → 更复杂，k 大 → 更平滑）
4. 决策边界的应用
- 医学诊断（癌症 vs. 健康）
- 金融风控（欺诈交易 vs. 正常交易）
- 自动驾驶（行人 vs. 车辆）
- 人脸识别（识别 vs. 未识别）
5. 结论
决策边界是分类任务中的核心概念，它决定了模型如何划分输入数据。理解决策边界的形状和性质，有助于选择合适的分类算法，并优化分类效果。
总结：
- 线性模型 → 直线或超平面
- 非线性模型 → 复杂曲线
- 不同算法 → 不同的决策边界
- 数据分布影响决策边界形状
正确选择模型和调节超参数，可以让决策边界更适合数据，提高分类性能！