高斯过程（Gaussian Process, GP）
高斯过程是一种用于监督学习的非参数贝叶斯方法，特别适用于回归和分类任务。GP 提供了一种灵活的建模方式，可以自然地量化预测中的不确定性。
核心思想
高斯过程是定义在函数空间上的分布，它假设数据的潜在函数 f(x)的任何有限维样本集合 f(x1),f(x2),…,f(xn)服从联合高斯分布。用公式表示为：
- m(x)：均值函数，表示对函数值的先验均值（通常取 m(x)=0）。
- k(x,x′)：核函数（协方差函数），描述任意两个输入点之间的相关性。
GP 的基本构造
1. 核函数选择
核函数是 GP 的核心，直接影响模型的预测性能。常用的核函数包括：
- RBF 核（高斯核）：
- 线性核：
- Matern 核：
2. 回归模型
假设我们有训练数据 {X,y}，其中 y=f(X)+ϵ，ϵ∼N(0,σ2)。预测时 GP 使用训练点和核函数计算预测分布：
- 先验：
- 后验：
其中：
3. 分类模型
对于分类任务，GP 分类通常结合 高斯过程概率分类器（GPC），通过拉普拉斯近似或变分推断来估计后验分布。
GP 的特点
优势
- 非参数建模： 不需要预定义函数形式，灵活性强。
- 不确定性量化： 提供预测均值和方差，自然量化不确定性。
- 小数据集表现优异： 特别适合小样本、高维数据。
劣势
- 计算复杂度高： 训练时间复杂度为 O(n3)，存储复杂度为 O(n2)。
- 扩展性差： 难以应用于大规模数据集。
- 核函数敏感： 性能高度依赖核函数的选择。
适用场景
- 回归任务： 比如时间序列预测、物理建模等。
- 分类任务： 医疗诊断、文档分类等。
- 优化问题： GP 常用于贝叶斯优化，寻找黑盒函数的最优解。
示例代码（回归任务）
以下为使用 Python 和 scikit-learn 的简单 GP 回归例子：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C# 定义核函数
kernel = C(1.0, (1e-3, 1e3)) * RBF(10, (1e-2, 1e2))# 构造训练数据
X_train = np.array([1, 3, 5, 6, 8]).reshape(-1, 1)
y_train = np.sin(X_train).ravel()# 构造测试数据
X_test = np.linspace(0, 10, 100).reshape(-1, 1)# 创建高斯过程模型
gp = GaussianProcessRegressor(kernel=kernel, alpha=0.1, n_restarts_optimizer=10)# 拟合数据
gp.fit(X_train, y_train)# 预测
y_pred, sigma = gp.predict(X_test, return_std=True)# 可视化
plt.figure()
plt.plot(X_train, y_train, 'r.', markersize=10, label='Training Data')
plt.plot(X_test, y_pred, 'b-', label='Prediction')
plt.fill_between(X_test.ravel(), y_pred - 1.96*sigma, y_pred + 1.96*sigma, alpha=0.2, label='Confidence Interval')
plt.legend()
plt.show()
总结
高斯过程以其灵活性和不确定性量化能力，在小样本机器学习问题中表现出色。但其高计算复杂度限制了在大规模数据集上的应用，因此通常结合稀疏高斯过程或分布式方法来改进扩展性。