【贝叶斯优化计算公式】贝叶斯优化是一种用于寻找函数极值的高效方法，尤其适用于高成本、难以解析的优化问题。它通过构建概率模型来指导搜索过程，从而在较少的迭代次数内找到最优解。本文将总结贝叶斯优化的核心计算公式，并以表格形式展示关键步骤与公式。
一、贝叶斯优化基本流程
贝叶斯优化主要包括以下几个步骤：
1. 选择先验分布：通常使用高斯过程（Gaussian Process, GP）作为先验。
2. 构建后验分布：根据已知样本更新先验，得到后验分布。
3. 选择采集函数：基于后验分布计算下一个采样点，常用的有EI（Expected Improvement）、UCB（Upper Confidence Bound）等。
4. 迭代优化：重复上述步骤，直到满足停止条件。
二、关键公式总结
| 步骤 | 公式 | 说明 | |
| 高斯过程先验 | $ f(x) \sim \mathcal{GP}(m(x), k(x, x')) $ | $ m(x) $ 是均值函数，$ k(x, x') $ 是核函数 | |
| 后验分布 | $ p(f(x^) | D_n) = \mathcal{N}(\mu_{n}(x^), \sigma_{n}^2(x^)) $ | 根据历史数据 $ D_n $ 计算当前预测均值和方差 |
| 均值预测 | $ \mu_n(x^) = m(x^) + K(x^, X_n)^T (K(X_n, X_n) + \sigma^2 I)^{-1} (y_n - m(X_n)) $ | 利用协方差矩阵进行预测 | |
| 方差预测 | $ \sigma_n^2(x^) = k(x^, x^) - K(x^, X_n)^T (K(X_n, X_n) + \sigma^2 I)^{-1} K(x^, X_n) $ | 表示预测不确定性 | |
| 期望改进（EI） | $ \text{EI}(x) = \mathbb{E}[\max(0, f(x) - f(x^))] $ | 评估新点的潜在改进空间 | |
| EI 公式（当 $ f(x^) $ 是最小值时） | $ \text{EI}(x) = (\mu(x) - f(x^) - \sigma(x)\phi(z)/\Phi(z)) $ | $ z = \frac{\mu(x) - f(x^)}{\sigma(x)} $，其中 $ \phi $ 和 $ \Phi $ 是标准正态分布的密度和累积函数 |
三、小结
贝叶斯优化通过概率建模和动态策略选择，能够有效处理黑箱优化问题。其核心在于利用高斯过程对目标函数进行建模，并通过采集函数引导下一步的搜索方向。虽然计算过程中涉及较多数学公式，但其结构清晰，便于实现与扩展。
通过合理选择核函数、先验分布以及采集函数，可以进一步提升贝叶斯优化的效率与准确性。对于实际应用者而言，理解这些公式有助于更好地配置和调试优化过程。