它基于贝叶斯优化（Bayesian Optimization）思想，通过构建一个概率模型来预测超参数组合的性能，从而高效地探索超参数空间。相比传统网格搜索（Grid Search）或随机搜索（Random Search），Optuna 更智能，能够在较少的试验次数内找到更优的超参数组合。

优化算法

• Optuna 默认使用 TPE（Tree-structured Parzen Estimator） 算法，这是一种贝叶斯优化方法。
• TPE 的核心思想是：
  • 维护一个概率模型，基于历史试验的超参数和性能（目标函数），估计哪些超参数组合更有可能产生更好的结果。
  • 将超参数空间分为“好”和“坏”两部分，优先在“好”的区域内采样新的超参数组合。
• 随着试验次数增加，TPE 不断更新概率模型，逐步聚焦于表现更优的超参数区域。

剪枝机制（Pruning）

• 如果某个试验的中间结果（例如某折交叉验证的 MAE）明显劣于之前试验的中位数，Optuna 会提前终止该试验。
• 这大大减少了计算资源浪费，尤其是在试验次数较多或训练时间较长的情况下。

p.s.

• 每次试验的结果（超参数和 MAE）存储在 SQLite 数据库中（study_storage），便于后续分析或恢复优化过程。
• 优化完成后，Optuna 返回最佳超参数组合（study.best_params）和对应的最佳目标函数值（e.g.MAE）（study.best_value）。