万网企业邮箱_枸橼酸西地那非片功效效及作用_武汉建站公司_搜索引擎排名中国

本公式来源于文章 “《GBDT 算法的原理推导》 11-13初始化模型 公式解析” ， 拿出来写一下具体的化简过程。

---

对于对数损失下的GBDT初始预测值 $f_0(x)$，应该是通过最大化对数似然得到一个基于对数几率的表达式。我们现在来详细推导这个公式。

1. 问题的定义

对于二分类问题，假设目标值 $y_i$ 取值为 0 或 1。我们的目标是找到一个初始预测值 $f_0(x)$，使得它最小化所有样本的对数损失。对于二分类任务，GBDT的初始化通常会选择预测输出为正类概率的对数几率（log odds）。

2. 对数损失函数

对于一个样本 $(x_i,y_i)$，对数损失函数定义为：

$$L(y_i,p)=-[y_i\log p+(1-y_i)\log (1-p)]$$

其中 $p$ 是预测的正类概率。在GBDT中，我们希望找到一个值 $f_0$ 作为初始预测值。对于二分类问题，模型输出的对数几率（log odds）与正类概率的关系为：

$$p=\frac{1}{1+e^{-f_0}}$$

因此，$f_0$ 可以被看作是模型输出的对数几率。

3. 目标函数

我们希望最小化所有样本的对数损失总和：

$$f_0=\arg \underset{f}{\min }\sum _{i=1}^{N}L(y_i,p_i)=\arg \underset{f}{\min }\sum _{i=1}^N-\left[y_i\log p_i+(1-y_i)\log (1-p_i)\right]$$

将 $p_i$ 用 $f_0$ 表示，即 $p_i=\frac{1}{1+e^{-f_0}}$，带入上式：

$$f_0=\arg \underset{f}{\min }\sum _{i=1}^N-\left[y_i\log \left(\frac{1}{1+e^{-f_0}}\right)+(1-y_i)\log \left(1-\frac{1}{1+e^{-f_0}}\right)\right]$$

4. 化简对数项

根据 $\log \left(\frac{1}{1+e^{-f_0}}\right)=-\log (1+e^{-f_0})$ 和 $1-\frac{1}{1+e^{-f_0}}=\frac{e^{-f_0}}{1+e^{-f_0}}$，我们可以将对数项展开为：

$$f_0=\arg \underset{f}{\min }\sum _{i=1}^N-\left[y_i(-\log (1+e^{-f_0}))+(1-y_i)\left(-f_0-\log (1+e^{-f_0})\right)\right]$$

化简后得到：

$$f_0=\arg \underset{f}{\min }\sum _{i=1}^N\left[y_i\log (1+e^{-f_0})+(1-y_i)(f_0+\log (1+e^{-f_0}))\right]$$

进一步整理，可以得到最优初始值的方程：

$$f_0=\log \frac{{\sum }_{i=1}^N{y}_i}{N-{\sum }_{i=1}^N{y}_i}$$

这表明，初始预测值 $f_0(x)$ 是正类样本的对数几率（log odds）。